AI會議的論文評審慣例需要重新設計嗎？頂會組織者們有一些想法

雷鋒網 AI 科技評論按：學術論文，是科研人員記錄研究成果、與同行交流討論的最重要的載體；論文能在期刊、會議上發表，也就表明這項成果得到了同行的認可。

不過對於對計算機科學領域的科研人員們來說，發表論文、尤其是在會議上發表論文的慣例面臨著重大挑戰。人工智慧這一計算機科學等學科的衍生領域這幾年呈爆髮式的增長，各個相關學術會議的參會人數、論文投稿數量也指數級地增長。

正如人類設計的計算系統會遇到可拓展性（scalability）問題一樣，學術會議論文投稿、評審的傳統模式在處理如今大幅增長的投稿論文數量時也帶來了許多令人不滿的結果，比如僅僅是按時審完所有的投稿論文就是一大挑戰，審稿人們也需要耗費越來越多的精力在審稿過程中；作者們越來越普遍地報怨會議中的論文評審隨機性增加、不公正，但他們卻又不得不想盡辦法讓自己的論文被某個會議接收，有人甚至會使用一些投機取巧的辦法。

在 IJCAI 2019 開幕之前、公布論文接收結果之時，許多論文作者就表達了自己對結果的不滿，似乎這屆 IJCAI 的論文審稿過程中出現了不少的問題。IJCAI 2019 的?PC （program?chair，程序主席）Sarit Kraus 當時很快就給作者們發送了一封郵件，做了一些解釋，也給出了一些他的個人觀點。

當然了，這並不能真正地解決問題，所以曾任 IJCAI 2017 程序主席的 Carles Sierra 在 IJCAI 2019 會議中組織了一個環節，邀請了多位資深、且（曾經）擔任頂會主席的學者參加圓桌討論，系統、全面地重新思考如何認識以及應對當前頂會中暴露出的問題。

參加討論的學者們為（從左到右）：南京大學教授周志華，將擔任 IJCAI 2021 程序主席；巴爾-伊蘭大學教授 Sarit Kraus，本屆 IJCAI 2019 程序主席；帕多瓦大學教授，Francesca Rossi 曾任 IJCAI 2013 程序主席；蒙彼利埃大學教授 Christian Bessiere，將擔任 IJCAI 2020 程序主席；得克薩斯大學奧斯汀分校教授 Peter Stone，曾任 AAAI 2014 程序主席。

在圓桌討論中，學者們討論到了很多問題，也提出了很多深入的見解和新穎的解決方法。當然了，這些措施很可能沒法很快就形成領域內的共識並執行下去，但充分的討論、好的點子開始形成，是解決一切問題的開始。

雷鋒網 AI 科技評論記者全程聆聽了圓桌討論內容，並把一些有價值的討論內容摘錄如下。

議題一：論文評審委員會如何組織、如何選人、如何應對大量論文

如今各個 AI 會議都很容易出現審稿人不足的狀況，所以幾位學者都表示了對同一個想法的支持：讓投稿論文的作者也承擔一些審稿工作（具體方式還有待討論，一個比較簡單的方式是今年投稿的作者需要明年參與審稿）。首先這直接增加了可以參與審稿的人數；其次，從個人和集體的關係來看，提交論文讓別人審是論文作者享受了來自整個學術社區的服務，那麼他也應當為學術社區做出一些服務，比如審別人的論文。

另外大家也提到了反覆投稿的問題。論文作者們如今的慣例是，投某一個會議不中的論文，就在出結果以後投到緊接著的下一個同類型的會議，期待著新的審稿人給它更好的評價。這種做法當然會造成嚴重的資源浪費，而且還會培養出作者的惰性，不那麼積極地按照審稿意見更新自己的論文。多位學者都提到應該設立一些措施處理這種問題，簡單的做法比如針對同一篇論文的審稿意見可以在不同的會議之間通用，這樣時間順序靠後的會議就不必重新審這篇論文。

其它觀點還有

周志華：為了處理大量論文，論文審稿委員會需要設置多級結構，比如 SAC/AC/SPC/PC，但這樣做也會減少直接審稿的PC 的人數；如今常用的 SPC 提名 PC 的做法也遇到了困難，多位不同的 SPC 分別提名 PC 名單，但其實很多名字都會重複，總的提名名單里人還是不多；以及資深學者很忙，經常同時為多個會議審稿，同時還有自己繁重的工作，而會議的投稿量越來越大，導致為會議找到足夠的資深審稿人越來越困難，幾乎成為不可能的任務.

Sarit Kraus：很多審稿人報怨時間安排太滿，不同會議的審稿之間可能有衝突，可以試試 PC、SPC、AC 等等每年只服務一個會，可以更少人、更投入地完成工作。

Christian Bessiere：快速發展的領域裡常見的問題就是經驗學識較淺的學者多、資深的學者少。那麼可以在審稿過程中根據資歷安排不同的任務或者做法，比如需要多位經驗學識較淺的學者共同決定一篇論文的質量，但資深學者可以獨立決定一篇文章。

議題二：如何改進評審過程

應對大量的論文投稿，大家都提到需要設計快速淘汰機制，快速篩掉質量不高的一部分論文當然就可以減少工作量；更少的工作量，就可以專註地評審論文，提高評審質量。可以在現有流程前增加一個快速篩論文環節，比如：根據摘要篩論文；要求提交短視頻或者論文演講的 PPT，根據它們篩論文；每篇論文只看 20 秒。但畢竟還是增加了額外的工作量。

Christian Bessiere 提到可以考慮採用全新的審稿和發表機制，比如採取每月發表的方式（而不是如今的集中在會議發表），對應地，作者們就可以在全年中的任意時間投稿，然後論文評審和錄用結果公布都是每月進行。這種方式可以克服很多目前會議集中審稿帶來的問題（包括上面提高的反覆投稿也可以在這種機制下得到遏制）。（雷鋒網 AI 科技評論註：ACL 2019 上也有一個討論論文評審方式的圓桌，也提到了這種方式）

周志華教授還談了一些他對論文評審過程的有趣的觀察：不同的論文分配機制有各自的問題，審稿人的專業性和想閱讀論文的興趣常常難以兼顧；由於稿件量很大，審稿人拿到的「一批文章」不具有採樣代表性，然而審稿人通常會在這一批文章中做「比較」。如果你的文章正好落在一個拿到一批相對較好的文章的審稿人手裡，就更容易被拒稿；如果落在一個拿到一批相對差的文章的審稿人手裡，就更容易被接受。這就造成了「運氣」很重要，也間接導致不少作者甚至不做修改就投稿去碰運氣。他提議可以考慮設置一些投稿成本，比如會議收取 10 美元投稿費，論文被錄用就用來抵扣註冊費，沒被接收就貢獻作為學生參會的旅行資助。

議題三：如何確保審稿質量

在這裡，確保評審質量是指希望審稿人可以認真負責地審稿。多位學者都談到可以考慮使用積分（token）制度，提出了高質量評審意見的審稿人、乃至被評為優秀審稿人的學者可以獲得一些積分，然後各個會議就可以只允許有積分的人投稿多篇論文（第一篇投稿可以不需要積分）。周志華提出這種機制設計需要另外耗費一批資深專家來評價評審意見，因為不能簡單地用文字長短來判斷評審意見是否專業到位，也不能完全依賴論文作者評價自己論文收到的審稿意見，畢竟作者們天然地對審稿人抱有敵意；Sarit Kraus 認為審稿意見在不同會議間通用能鼓勵大家更仔細評審；而 Peter Stone 則提出這種機制可能和雙盲評審是有衝突的。

議題四：如何制止論文投稿與評審過程中的不當行為

我們對「不當行為」了解並不多，相信有些讀者也是這樣。在討論中，學者們提到的不當行為包括：

許多論文會涉及利益衝突，比如審稿人會給來自自己同事的論文打更高的分數，但給不熟悉的、乃至對於自己看出來來自競爭對手的論文打更低的分數；

在論文評審過程中，審稿人之間故意泄露作者身份；

論文作者在投稿時為了提高中的概率，會把相同的研究寫成幾篇略有區別的論文分別投稿；

在評審過程中，有些作者收到了審稿意見，但是不願意修改自己的論文，只想儘快投到下一個會議

針對利益衝突，周志華提出我們需要一定的利益衝突檢測機制，在論文分配過程中進行調整。

Sarit Kraus 說道，投稿中的不當行為其實是我們自己培養出的怪物：根本原因是年青學者有很大的壓力發表論文，如今許許多多的東西都和發表的論文數量掛鉤，所以他們也只能想盡辦法讓自己的論文能夠錄用。

Peter Stone 則提到了對整件事的「道」的想法：也許我們可以指定一些規則，規定了哪些事是不可以做的，但是我們人類總是能會想辦法找到漏洞、繞過規則。改善這件事，我們需要更多鼓勵好的行為、讓好的行為成為大家效仿的樣板。

其它

實際上，整個圓桌討論中主持人?Carles Sierra 都希望聽眾們也參與到討論中來，他把幾個話題都發表在了網路留言板上，聽眾們可以自由地在其中寫下自己的意見。在前面幾個問題的討論結束後，現場聽眾也提出了一些問題，幾位圓桌嘉賓們也給出了有價值的回答。

既然會議式論文投稿有這麼多問題，為什麼我們還要舉辦會議，投期刊不好嗎

周志華：期刊的論文評審過程確實高質量，但是計算機科學界注重會議的風氣已是既定事實，改變這個風氣需要很長的時間。計算機學科並沒有像物理的PRL、化學的JACS那樣整個學科都能投稿的「共同期刊」，甚至僅對人工智慧來說也沒有各個子領域都能投稿的共同期刊。

Christian Bessiere：會議其實很有意義，是拓展人脈、和研究同一個課題的學者當面深入討論的非常好的機會

Peter Stone：我們有 arXiv、會議、期刊三種不同的發表途徑，arXiv 最快、開放性最高，期刊則最慢、可以期待論文質量也最高。三者同時存在是很好的互相補充

先準備論文演講，投稿時根據論文演講PPT或者視頻決定是否錄用論文，這個主意好嗎

Sarit Kraus：「審視頻再決定是否要論文」是個很好的點子

Francesca Rossi：也許可以採用，不過需要注意，不同會議對好的演講的要求有所不同，綜合性會議需要讓其他領域的研究者也能聽得懂，而某個領域的專門會議就需要更深入細緻的講解

Peter Stone：AAAI2019 已經嘗試了先決定論文是否接收，然後讓作者提交 PPT 後決定這篇論文成為海報論文還是口頭報告論文。這雖然增長了審稿流程，但是能鼓勵大家更好地準備論文演講（現在的很多論文演講就是站在台上低頭念稿）

關於雙盲評審和 OpenReview 間的取捨

周志華：OpenReview不應該泄露審稿人身份，否則審稿人會感覺壓力太大而不接受審稿邀請。但匿名又會遭遇其他問題，例如已經出現了有論文作者邀請很多朋友撰寫正面意見導致正式審稿人難免受到誘導。

結語：面對這一快速增長的領域裡出現的挑戰和問題，許多學者都主動開始探尋背後更深層次的原因，並討論解決方案。有的方案也許是「推翻重來」式的，比如改成月度的評審和發表，但這也更體現了計算機科學家們探究本質、勇於創新的品質。相信領域內的風氣、慣例可以和這個領域一起不斷前進、成長。

雷鋒網 AI 科技評論報道。文中周志華老師的發言已經過周老師本人審閱訂正。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！