可重複性

可重複性可複制性可重複性密切相關,是科學方法的主要原則。對於一項研究的發現,可再現的手段是通過實驗觀察性研究獲得的結果或對數據集統計分析獲得的結果,應在復制研究時再次獲得高度可靠性。有不同種類的複制,但通常複製研究涉及使用相同方法的不同研究人員。只有在一個或幾個這樣的成功複製之後才能將結果視為科學知識。

有了較窄的範圍,計算科學中已經引入了可重複性:任何結果都應通過使所有數據和代碼可用的方式記錄下來,以使計算可以再次執行相同的結果。

近幾十年來,人們一直擔心許多發表的科學結果未能使可重複性的檢驗,引起重複性或複製危機

歷史

在17世紀,博伊爾的氣泵是一個複雜且昂貴的科學設備,使結果的可重複性變得難以再現性

第一個強調可重複性在科學中重要性的是17世紀英格蘭的愛爾蘭化學家羅伯特·博伊爾(Robert Boyle) 。博伊爾的氣泵旨在產生和研究真空,當時這是一個非常有爭議的概念。確實,雷納·笛卡爾(RenéDescartes)托馬斯·霍布斯(Thomas Hobbes)等傑出的哲學家否認了真空存在的可能性。科學的歷史學家史蒂文·沙平(Steven Shapin)和西蒙·沙弗(Simon Schaffer)在1985年的著作《利維坦(Leviathan)和氣泡》(The Air-Pump)中描述了博伊爾(Boyle)和霍布斯(Hobbes)之間的辯論,表面上是關於真空的本質,從根本上講是關於如何獲得有用知識的論點。實驗方法的先驅博伊爾(Boyle)堅持認為,知識的基礎應由實驗性產生的事實構成,這可以通過科學界的可重複性使其可信。博伊爾認為,通過一遍又一遍地重複相同的實驗,事實的確定性將出現。

空氣泵在17世紀是一個複雜且昂貴的設備,也導致了關於特定科學現象的可重複性的第一個記錄的爭議之一。在1660年代,荷蘭科學家克里斯蒂亞·霍根斯(Christiaan Huygens)阿姆斯特丹建造了自己的空氣泵,這是博伊爾(Boyle)和他的助手在羅伯特·胡克(Robert Hooke)直接管理之外的第一個。 Huygens報導了他稱其為“異常懸架”的效果,其中水似乎在他的氣泵內的玻璃罐中浮動(實際上是在氣泡上懸掛),但Boyle和Hooke無法在自己的泵中復制這種現象。正如Shapin和Schaffer所描述的那樣:“很明顯,除非可以在英格蘭產生兩種可用的泵之一,否則英格蘭的一個人會接受Huygens提出的主張,或者他在工作泵上的能力”。霍根斯最終於1663年被邀請到英國,在他的個人指導下,胡克能夠複製對水的異常懸浮。在此之後,Huygens當選為皇家學會的外國成員。但是,沙平和沙弗爾還指出:“複製的完成取決於偶然的判斷行為。一個人不能寫下公式,說重複是在復制時或未實現的。”

科學哲學家卡爾·波普(Karl Popper)在1934年著名的著作《科學發現的邏輯》一書中簡要指出,“不可複制的單一事件對科學沒有意義”。統計學家羅納德·費舍爾(Ronald Fisher)在1935年的書《實驗設計》中寫道,這為假設檢驗的現代科學實踐和統計意義樹立了基礎,“我們可以說,當我們知道如何進行實驗時,在實驗上可以證明這種現像是可以證明的。很少會給我們帶來統計學意義的結果。”這種斷言在現代科學中表達了一種共同的教條,即可重複性是建立科學事實的必要條件(儘管不一定足夠),並且在實踐中,在任何知識領域都建立科學權威。但是,正如Shapin和Schaffer上面指出的那樣,該教條在定量上沒有很好地構型,例如統計意義,因此,沒有明確確定必須複製多少次事實以被視為可複制。

術語

可複制性可重複性是相關的術語廣泛或鬆散地代名詞(例如,在公眾​​中),但通常會更精確地分化它們,如下所示。

自然要與實驗或觀察性研究的可重複性相關的兩個主要步驟:當嘗試實現新數據時,經常使用術語可複制性,而新研究是對原始研究的複製複製。在通過相同的程序再次分析原始研究的數據集時,獲得相同的結果,許多作者在計算研究中使用的狹義,技術意義上使用了一詞可重複性可重複性與同一研究人員在同一研究中的實驗重複有關。僅當獨立研究人員團隊進行的複製成功時,才能確認在原始,廣泛的意義上的可重複性。

不幸的是,即使在研究人員無法強制執行更精確的用法時,術語的可重複性和可複制性有時也會出現。

可重複性和可重複性的度量

在化學中,術語可重複性和可重複性具有特定的定量含義。在實驗室間實驗中,在不同的實驗室中反複測量濃度或其他量的化學物質,以評估測量的可變性。然後,在同一實驗室內獲得的兩個值之間差的標準偏差稱為可重複性。從不同實驗室進行兩個測量之間差異的標準偏差稱為可重複性。這些措施與計量學方面成分的更一般概念有關。

可再現的研究

可再現的研究方法

可重現的研究一詞是指應該以完全透明的方式進行科學結果記錄的觀念。這需要詳細說明用於獲取數據並製作完整數據集和代碼以易於訪問的結果的方法。這是開放科學的重要組成部分。

為了使任何研究項目在計算上可複制,通用實踐涉及所有數據和文件都清楚地分開,標記和記錄。所有操作都應在可行的情況下完全記錄和自動化,並避免在可行的地方進行手動干預。工作流程應設計為組合的較小步驟的順序,以使一個步驟中的中間輸出直接作為輸入作為下一步。應使用版本控制,因為它可以輕鬆審查項目的歷史記錄,並允許以透明的方式記錄和跟踪更改。

可再現研究的基本工作流程涉及數據獲取,數據處理和數據分析。數據採集​​主要包括從主要來源獲取主要數據,例如調查,現場觀察,實驗研究或從現有來源獲取數據。數據處理涉及對第一階段收集的原始數據的處理和審查,其中包括數據輸入,數據操縱和過濾,並且可以使用軟件進行。數據應數字化並準備數據分析。可以通過使用軟件來解釋或可視化統計或數據以產生研究結果,例如定量結果,包括數字和表格,對數據進行分析。軟件和自動化的使用增強了研究方法的可重複性。

有一些系統可以促進此類文檔,例如R Markdown語言或Jupyter Notebook。開放科學框架提供了一種平台和有用的工具,可以支持可重複的研究。

實踐中可重複的研究

心理學已經看到了對不可再生結果的內部擔憂(請參閱有關複製成功率的經驗結果的可複制性危機的條目)。研究人員在2006年的一項研究中表明,在美國心理學會(APA)經驗文章的141位作者中,有103(73%)在六個月內沒有用數據響應。在2015年發表的一項後續研究中,發現在APA期刊中,有394個與作者聯繫的作者中有246個沒有根據要求共享他們的數據(62%)。在2012年的一篇論文中,建議研究人員應發布數據及其作品,並與數據集一起作為演示發布。 2017年,一篇在科學數據上發表的文章表明,這可能不夠,並且應披露整個分析環境。

在經濟學方面,人們對已發表研究的可信度和可靠性提出了關注。在其他科學中,可重複性被認為是基本的,並且通常是發表研究的先決條件,但是在經濟科學中,這並不是最重要的優先事項。大多數經過同行評審的經濟期刊都不採取任何實質性措施來確保已發表的結果可重現,但是,最高的經濟期刊一直在採用強制性數據和代碼檔案。研究人員有低或沒有激勵措施共享他們的數據,作者必須承擔將數據編譯成可重複使用的形式的成本。經濟研究通常不可再現,因為只有一部分期刊對數據集和程序代碼具有足夠的披露政策,即使它們這樣做,作者也經常不遵守它們,或者它們沒有由出版商執行。一項針對37個同行評審期刊上發表的599篇文章的研究表明,儘管某些期刊已經達到了顯著的合規率,但僅部分遵守或根本不遵守。在文章級別上,平均合規率為47.5%;在期刊水平上,平均合規率為38%,範圍從13%到99%。

2018年發表在《 PLOS One》雜誌上的一項研究發現,公共衛生統計研究人員中有14.4%分享了他們的數據或代碼,或兩者兼而有之。

Consort Initiative開始,已經有許多年來改善醫學文獻的報告,並因此在醫學文獻中可重複可重複,該倡議現在已成為更廣泛的倡議的一部分,即赤道網絡。該小組最近將注意力轉向瞭如何更好地報告減少研究中的浪費,尤其是生物醫學研究。

可再現的研究是藥理學新發現的關鍵。隨著藥物朝著商業生產發展,I期發現將進行第二階段的複制。最近幾十年,第二階段的成功已從28%下降到18%。 2011年的一項研究發現,重新測試後,有65%的醫學研究不一致,只有6%的醫學研究完全可重現。

值得注意的不可再生結果

野外野木(Hideyo Noguchi)以正確識別梅毒的細菌劑而聞名,但他也聲稱他可以在實驗室中培養這種特工。沒有其他人能夠產生後一個結果。

1989年3月,猶他大學化學家史丹利·龐斯(Stanley Pons)和馬丁·弗萊斯曼(Martin Fleischmann)報告說,過量熱量的產生只能通過核過程來解釋(“冷融合”)。鑑於設備的簡單性,該報告令人震驚:它本質上是一個含有重水陰極電解細胞,該電池迅速吸收了電解過程中產生的。新聞媒體對實驗進行了廣泛的報導,這是世界各地許多報紙上的頭版項目(請參閱《科學》的新聞發布會)。在接下來的幾個月中,其他人試圖複製實驗,但沒有成功。

尼古拉·特斯拉(Nikola Tesla)早在1899年就聲稱使用高頻電流來輕輕地從25英里(40 km)的地方輕燃氣,而無需使用電線。 1904年,他在長島建造了Wardenclyffe塔樓,以展示在不連接電線的情況下發送和接收電源的手段。該設施從未完全運行,並且由於經濟問題而沒有完成,因此沒有嘗試複製他的第一個結果。

相反證據的其他例子駁斥了原始主張:

也可以看看