P＜0.005才算差異顯著？粒子物理學家表示：「呵呵。」

圖片來源：facebook.com/pedromics

作者 Dalmeet Singh Chawla

翻譯 Nature自然科研

頂級科學家們認為，研究者們最愛的統計指標之一—— P 值要有更嚴苛的標準。

科學正在經歷可重複性危機的陣痛。研究者、研究資助機構和學術出版商越來越擔心，學術論文中充斥著不可靠的研究結果。現在，72 個知名科學家開始討伐造成不可重複性問題的一個根源：判斷科學新發現所基於的弱統計證據標準。

圖片來源：Pixabay

在許多學科里，研究結果的顯著性是由 P 值進行判斷的。P 值被用來證明或證偽某個「零假設」。零假設一般假定被研究的效應並不存在。某批結果統計出來的 P 值越小，它們是隨機因素造成的可能性就越低。當 P 值小於 0.05 時可以認為結果是「統計顯著的」。

但是許多科學家擔心，0.05 的閾值在文獻中造成了太多假陽性。而 P 值操縱（P hacking）的存在使情況變得雪上加霜。許多研究者在沒有理論假設的情況下搜集數據，然後再尋找結果中具有統計顯著性的數據模式，這就是 P 值操縱。

在 7 月 22 日發表在預印本網站 PsyArXiv 上的一篇文稿引起了轟動。該論文的作者提出，社會科學和生物醫學的 P 值閾值應當被調低至 0.005。該論文的終稿發表在了《自然-人類行為》（Nature Human Behaviour）上。

該論文的第一作者之一、南加州大學經濟學家丹尼爾 · 本傑明（Daniel Benjamin） 表示：「研究者們並沒有意識到，當 P 值等於 0.05 時他們的證據有多麼弱。」他認為 P 值在 0.05 和 0.005 之間的結果應該被視為「提示性的證據」，而不是確鑿的事實。

這篇論文的作者名單里有兩位可重複性領域響噹噹的人物：斯坦福大學專攻科學證據可靠度的約翰 · 約安尼季斯（John Ioannidis），以及開放科學中心（Center for Open Science）的執行總監布萊恩 · 諾塞克（Brian Nosek）。

超大的大樣本

荷蘭格羅寧根大學的心理測量學和統計學研究者卡斯珀 · 阿伯斯（Casper Albers）表示，減少 P 值閾值會帶來的一個問題是，假陰性的幾率會上升，也就是說明明效應存在，但結果卻顯示不出來。為了避免這個問題，本傑明和同事建議研究者將樣本量提高 70 %。他們認為這可以避免假陰性幾率上升，同時顯著減少假陽性出現的可能性。但是阿伯斯認為在實際操作中，只有那些經費充足的科學家才有資源做到這一點。

伊利諾伊理工學院的計算機科學家所羅門 · 阿加蒙（Shlomo Argamon）則認為可重複性問題沒有簡單的解決方法，因為「不管你選擇什麼置信水平，只要存在足夠多的不同實驗設計方法，那麼其中至少有一種方法極有可能純粹因為偶然而產生統計顯著的結果」。他認為要採取更為激進的變革，比如引入新的研究方法標準和研究激勵機制。

雷丁大學認知神經科學家湯姆 · 約翰斯頓（Tom Johnstone）則認為，降低 P 值的閾值也會使「抽屜問題」（file-drawer problem）進一步惡化。抽屜問題指的是，那些不具有統計顯著性的研究無法發表，只能塞到抽屜里。但是本傑明認為所有的研究都該被發表出來，不管它們的P值為何。

別刻舟求劍

其他一些學科已經開始打壓 P 值了。在 2015 年，一個心理學期刊禁止報告 P 值。該論文的第一作者之一、德州農工大學的統計學家瓦倫 · 約翰遜（Valen Johnson）表示，需要從原子對撞實驗中搜集海量數據的粒子物理學家們早就規定，P 值的閾值為 0.0000003（3 ×10?7），因為他們擔心標準太松的話會出現錯誤的結論。在十多年前，遺傳學家也採取了類似的措施，將全基因組關聯研究的閾值定為 5 × 10?8。全基因組關聯研究尋找的是罹患某種疾病的人和沒有患這種病的人之間的差異，這類研究需要分析成千上萬的 DNA 鹼基變異。

另一些科學家則完全拋棄了 P 值，轉而擁護更複雜的統計工具，如貝葉斯分析。貝葉斯分析要求研究者給出兩個備選的假設並進行驗證。不過約翰遜認為，並不是所有研究者都具有進行貝葉斯分析的專門技術，在評估證據是否支持假設時，P 值還是挺有用的。「 P 值本身並不一定是魔鬼。」

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！