ACL 禁止投稿論文提交 arXiv，雙盲評審真的有效嗎？

新智元 今天

新智元報道

來源：綜合cacm.acm.org等

編譯：肖琴、小潘

【新智元導讀】近日，ACL（計算語言學協會）更新了其會議論文的投稿、評審和引用政策。其中最受爭議的一項要求是，為了雙盲評審的有效性，禁止投稿論文在截止日期前的1個月時間內在 arXiv 等平台公開預印本。匿名評審的有效性如何，應該怎樣保證這種政策的公平性，值得重新思考。

近日，ACL（計算語言學協會）更新了其會議論文的投稿、評審和引用政策。其中最受爭議的一項要求是，為了雙盲評審的有效性，禁止投稿論文在截止日期前的1個月時間裡在 arXiv 等平台公開預印本，直到論文評審結果公布。這些新要求引起一些質疑雙盲評審有效性的聲音，不過，多數研究人員表示支持新政。斯坦福大學 NLP Group的主任、2015 年曾任 ACL 主席的 Christopher Manning 也針對ACL的新政做了詳細的解釋。

ACL會議的提交、評審和引用政策：

為ACL會議（ACL、NAACL、EACL）和TACL期刊採用以下政策，以維護雙盲評審，同時不犧牲預印出版的積極效果。這些政策實際上適用於所有的ACL會議，從2018年1月1日的提交截止日期開始。我們推薦與ACL會議關聯的其他會議和研討會也採用相同的政策，除非這與他們本來的政策相衝突。

ACL會議和TACL要求提交論文匿名化。如果作者在提交截止日期前1個月發布或更新一個匿名的預印版本，直到通知或撤回的這段時間內，提交者將不會被認為是匿名的。如果沒有正確的匿名化，提交將被拒絕。

• 匿名期的匿名預印本是允許的。
• 在匿名期之前，非匿名的預印本是允許的，儘管我們鼓勵作者們等到匿名期之後再發布。
• 如果有一個非匿名的預印版本存在，作者必須在提交時聲明其存在，但不應引用它，並被要求在匿名期間不要進一步公布——提交的論文應儘可能匿名。

儘管許多學術會議都採用匿名評審的方式，匿名評審仍一直受到懷疑。諸如在評審結果出爐之前大範圍暴露論文作者，大公司、名校的論文被接受的比例之高似乎不合常理等。我們究竟需要怎樣的匿名評審，匿名評審的有效性到底如何，ACL通訊最近發表的一篇文章，對匿名評審進行了實驗調查和探討。

會議論文評審中的偏見無處不在

同行評審是學術出版過程的基石，但也可能受到執行評審的人的影響。評審人潛意識裡的偏見會影響客觀評價研究工作的能力，這是有實驗證據支持的。ACL通訊最近發表的一篇文章發現，在一個包含兩個不交叉的程序委員會的受控實驗（網路搜索與數據挖掘國際會議，WSDM 17）中，知道作者信息的評審人推薦接受有名作者投稿的可能性比普通作者高1.76倍，推薦接受頂尖機構論文的可能性比普通機構高1.67倍。

此外，另一項對三年的Evolution of Languages會議（2012年，2014年和2016年）的研究發現，當審稿人知道作者身份時， 以男性為第一作者的論文評價得分高19％，而以女性為第一作者的論文得分低4％。而在醫學領域，美國的評審人更傾向於推薦接受來自美國機構的論文。

而且，無論評審人自己的種族和性別是什麼，這些偏見都會影響他們。幸運的是，雙盲評審可以減輕這些影響，從而減少偏見。這使得雙盲評審制度成為論文評價系統中具有建設性的一部分，使得論文評審結果更加忠於研究工作的質量。

研究者對2016年舉辦的三次軟體工程和編程語言會議進行調查，分別是 IEEE/ACM 國際自動化軟體工程會議（ASE），面向對象編程、系統、語言和應用的ACM國際會議（OOPSLA），以及ACM SIGPLAN編程語言設計和實施會議（PLDI）。他們收集了關於匿名化有效性的數據，用於評估審稿人成功對論文作者「去匿名化」的程度。

他們發現，匿名化雖然不完美，但相當有效：70%-86%的評審人在提交評審結果時沒有對論文作者進行猜測，74%-90%沒有猜測正確。那些認為自己是論文主題的專家的評審人更有可能試圖猜測作者的身份，但不太可能猜對。

總的來說，研究者的結論是強烈支持繼續使用雙盲評審制度，為此付出的額外努力是非常值得的。

匿名化的有效性

匿名化效果

在這三次會議中，有70%到86%的評論是在沒有猜測的情況下提交的，這表明審查人通常不知道或者不關心大部分論文的作者是誰。圖1總結了每個會議處理的審稿人、論文和評審的數量，以及對作者身份進行猜測的比例。

圖1

當評審者進行猜測的時候，他們很可能會猜對。其中，ASE 的猜測正確率是72%，OOPSLA是 85%，PLDI是74%。然而，大多數論文沒有一個評審人猜對哪怕一個作者，而且大多數評審意見包含不正確的猜測(ASE 90%, OOPSLA 74%, PLDI 81%)。

專家們更有可能猜對嗎？

圖2

上圖中X表示專家，Y表示知識淵博的人，Z是知情的局外人。圖2總結了猜測的發生率和猜測正確性。對於每一個會議，從統計上看，X審稿人比Y和Z審稿人更容易進行猜測。但是，猜測正確性的差異並不顯著。我們的結論是，那些認為自己是專家的審稿人更有可能對作者的身份做出猜測，但他們不太可能猜對。

論文的匿名化效果總是很差么？

去匿名化的一個可能的原因是匿名化的效果很差。匿名化效果差的論文可能會招致更多的審稿人進行猜測，也有更高的正確猜測率。

圖3

圖3顯示了試圖猜測作者的審閱人員的數量。最大比例（26%-30%）出現在只有一個評論者試圖猜測論文的作者的情況下。具有更多的猜測的論文所佔的比例更少。條形陰影部分表示作者身份猜測是正確的，有更多猜測的論文有更低的錯誤猜測率。通過對數據的分析可以得知，改進相對較少的論文的匿名化可能會顯著減少猜測的數量。這三個會議最近才開始使用雙盲評審程序，由於作者獲得了更多的匿名提交的經驗，這進一步增加了雙盲的有效性，所以匿名化的出現可能會減少。

被猜測的作者的論文更有可能被接受嗎？

我們調查了論文接受與否與評審者的猜測正確與否的相關性。

圖4

圖4顯示了每個會議的接受率與沒有猜測，至少有一個正確的猜測，以及所有錯誤的猜測的數據關係。我們在這三次會議上觀察到不同的行為：在統計上，不管審稿人的行為是什麼，在統計上的接收比率是相同的。

審稿人如何去匿名化？

OOPSLA和PLDI的審稿人被問及引用的使用是否會揭示作者。通過對結構進行分析，表明一些去匿名化可能是不可避免的。一些評審人員在搜索相關工作時發現了GitHub庫或項目網站來給他們的最終的評論加以暗示。一些提交的材料代表了對作者先前工作的清晰擴展或內容的熟悉。然而，這也為改善匿名化帶來了機會。然而，在程序委員會的會議上，程序委員會主席多次聽到他們的成員說，他肯定另一個程序委員會成員是論文作者，但他錯了。當審稿人們認為他們通過間接的不致盲的方式認識作者時，他們可能過於自信，有時甚至是錯誤的。

程序委員會主席的觀點

在完成這一過程後，所有三個會議的程序委員會主席都反映了雙盲評審的成功和挑戰。所有的程序委員會主席都強烈支持在未來繼續使用雙盲評審。所有人都認為雙盲評審減輕了潛意識中存在的偏見的影響，這正是使用雙盲評審的主要目標。一些程序委員會的成員們也意識到了這一點，這表明他們更有信心去相信，他們的評論和決定存在更少的偏見。一位程序委員會成員說，雙盲評審是一種解放，因為在評估過程中不用擔心自己認識的人對自身職業生涯產生影響。

所有的程序委員會主席支持他們對披露作者時間點的決定：也許對於那些被接收的論文而言，應該發生在審查提交之後，程序委員會的會議之前。PLDI程序委員會主席大力提倡完全雙盲，也就是說被拒絕的論文可以匿名地重新提交給其他相同審稿人的雙盲區，從而解決去匿名化的起因。ASE程序委員會主席觀察到，在一些案例中，揭示作者的身份有助於更好地理解論文的貢獻和價值。PLDI 程序委員會主席被認為絕對有必要在評估論文時根據要求透露作者的身份。

總的來說，沒有任何一個程序委員會主席感覺到由雙盲評審帶來額外巨大的行政負擔。 ASE程序委員會主席招募了兩個評審過程主席前來協助，所有人都認為這種額外的投入是合理的。

Christopher Manning：ACL新政是加速科學進步和防止偏見的折衷方案

斯坦福大學 NLP 小組（Stanford NLP group）主任、2015 年曾任 ACL 主席的 Christopher Manning 也發言針對ACL的新政做了詳細的解釋，他認為：

通過快速傳播研究結果來加速科學進步是一件好事。雙盲評審從防止對已經享有特權的人的偏見這個角度來看也是一件好事。ACL 新的投稿、評審、引用政策是兩者之間的一種折衷方案。

作為一種折衷，它要求某些非匿名的論文延遲傳播，這隻會改善而非試圖破壞雙盲評審的完整性。

保持作者的匿名化從來都不是絕對的：人們會談論他們的工作或者把它發給同事。也就是說，ACL的政策絕不是試圖限制你與同事分享手稿。

事實上，這項政策傾向於支持加速科學進步，因為它允許對預印本有很高的使用價值：比如在下一次會議的截止期限的很久之前寫完論文，或者從同事那裡得到關於早期想法的反饋。

ACL的政策依賴於兩個人類自身的缺點：拖延和健忘。每個人都可以在截止日期35天前完成論文，但很少有人能完成。一些好的預印本或以前被拒絕的論文將會廣泛使用，但人們不太可能記住作者。

高概率的匿名性很大程度上保留了雙盲評審的好處。

參考鏈接：

[1]https://aclweb.org/adminwiki/index.php?title=ACL_Policies_for_Submission,_Review_and_Citation

[2]https://cacm.acm.org/magazines/2018/6/228027-effectiveness-of-anonymization-in-double-blind-review/fulltext

[3]https://twitter.com/chrmanning

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_3 入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！