厲害了！百位作者藉助Google Docs合作撰文討論P值問題
有關「P
Daniel J. Benjamin等人提出將現行的0.05標準降低到0.005—《Redefine Statistical Significance》於2017.7.22發表在Nature Human Behaviour。
在這篇論文中，70名牛X的科學家支持在研究中提高被廣泛使用的統計學顯著的閾值，也就是我們常常想盡一切辦法獲得的P
而來自荷蘭埃因霍溫科技大學的心理學家Dani?l Lakens卻抱怨道：「這群優秀的人怎麼就給出了如此可怕的Bad Advice」。Lakens認為一個更小的α（或者說檢驗水準），毫無疑問會需要更大的樣本量，而這無疑會讓一些研究永遠無法完成（比如說一些罕見病研究，疾病發生率本來就低，難道要等到患者達到一定的數量才開始搞研究，這顯然是極度違背倫理的！）。
Lakens進一步發問道，「既然科學是如此的多元化，那麼為什麼要把科學研究局限在一個單一的P值上？」
Lakens等人最近也發表了一篇他們自己的論文來提供另外一種選擇，這篇文章同樣發表Nature Human Behaviour。就文章內容而言並沒有什麼驚天動地大發現，但是呢，整個論文的成稿過程卻絕對會讓你嘆為觀止！這篇論文由來自全球100多名作者（既有國際大腕兒Prof.，亦有博士研究生Ph.D.），利用Google docs（一款在線協助編輯工具），為期兩個月撰寫完成。
用發起者Lakens的話來說，對於這件事應該儘可能地民主化——大家只要想參加就都可以加入進來，不一定都是業界大咖。
在看到《Redefine Statistical Significance》這篇文章後，Lakens創建了一個名為《Justify Your Alpha: A Response to 『Redefine Statistical Significance》的Google docs，其中包含了12個話題討論，比如說「我們應不應該評論或忽略這項建議？」，「重新定義統計顯著性的潛在負面影響是什麼？」。
接近150名作者參與了這項大討論，整個文件長達100頁。
(使用電腦打開以下網址，即可查看：https://docs.google.com/document/d/12CNMlmxhD2q6mymyDl_Bp1mTIAAiWCblZneDDQc2nQY/edit)
令Lakens沒有想到的是這項討論參與者的多元化，而那些權威的研究機構代表反而成為了少數，這其中許多貢獻者都分享了他們的個人經驗。一些人認為他們沒有能力為了滿足這項「新標準」（α=0.005）而開展一項大型研究，並且招募到足夠多的研究對象。
另一些人則擔心，降低α可能會強迫研究者報告所謂的「方便樣本」（Convenience Samples），例如，納入過多的本科生（最聽話，也最容易獲取研究樣本~），或者把研究搬到網上（大家自願參加~）。
批評者也認為大型研究同樣不太可能被重複，並且一個更苛刻的α可能會迫使研究者不願意冒風險去攻克難題。
在整個討論過程中，儘管有各種分歧，參與者也達成了一致——即把α設定到0.005同0.05一樣「武斷隨意」。一個關鍵問題在於，α=0.005的產生是依賴於已經搞清楚的研究問題，並且考慮獲得一個錯誤答案的風險而制定的。事實上，具體問題要具體分析——在初步的探索性研究中，研究者願意接受一個存在假陽性風險的結果；但是，在藥物臨床試驗中卻可能需要一個更低的α。
Lakens等人正是基於這項討論的主要內容而完成了這篇論文。Lakens激動地回憶著整個過程：
看著這份文檔不斷變化是如此令人難以置信。每一位參與者共同增加、刪除、再增加內容，不斷有新的討論出現。大家一致同意承擔某些特定任務，例如，添加參考文獻、檢查標點符號。當我們不得不縮短整篇文章時，大家又一同商量刪除哪些不必要的內容。當手稿不斷接近最終的成稿時，一些參與者會因為不同意某些內容而退出，最終87名參與者同意成為這篇論文的共同作者。
Daniel Bradford，一位來自威斯康星大學麥迪遜分校臨床心理學博士研究生，一開始對於這種眾包式的論文撰寫工作是持懷疑態度。Bradford分享道，「我之前僅僅和5位作者共同完成過數篇論文，並且認為只有少於這個數量的作者才能讓論文的整個撰寫過程更加高效，而這一次的經歷改變了我看法」。
（眾包，一種特定的獲取資源的模式，這種模式下，個人或組織可以利用大量的網路用戶來獲取需要的服務和想法——維基百科）
最終，這篇論文建議將「Statistically Significant（統計學顯著）」的標籤一起摒棄，取而代之的是，研究者應該闡明對於研究設計和數據解讀的考慮，包括檢驗水準——α可能是0.05，也可能是0.005，或者0.10。
Redefine Statistical Significance作者之一Valen Johnson教授，卻認為這並不能解決什麼問題，「允許每一篇論文的作者自行決定統計學顯著α的標準，是一個瘋狂的建議！根本沒有足夠的資源來對每個α的理由進行徹底和公正的考察，問題的關鍵是，並不清楚如何來證明作者所提出的α在實踐中是否行得通。」
ps：儘管對於P值的爭論仍在繼續，但是作者腦洞大開地採用眾包的形式開展一項學術討論確實令人眼前一亮，傳統的學術研究是否也要擁抱互聯網+？
http://www.sciencemag.org/news/2018/01/nearly-100-scientists-spent-2-months-google-docs-redefine-p-value-here-s-what-they-came
關注醫咖會，漲姿勢！
TAG:醫咖會 |