憑「顏值」拒稿，誤判率僅0.4％？這篇計算機視覺論文讓AI學界炸了鍋

曉查 夏乙 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

這兩天，一項「看臉」審核計算機視覺論文的研究讓AI學者們一片紅紅火火恍恍惚惚。

不少人哈哈哈哈懷疑作者在搞笑，當然也有很多人嚴肅讀論文，辯論數據、結論的不合理之處。甚至有人說，研究揭示了論文評審中本就存在的人類偏見。

Jia-Bin Huang

這項火遍國外AI界的論文，就是弗吉尼亞理工大學助理教授Jia-Bin Huang的Deep Paper Gestalt。

頂會領域主席的煩惱

Jia-Bin Huang（我們還是叫他黃老師吧）是計算機視覺頂會CVPR 2019和ICCV 2019的領域主席（Area Chair），當然深知學術會議投稿現狀。

要問現在學術界的主要矛盾是什麼？

那必須是：日益增長的論文投遞數量，和捉襟見肘的同行評審數量之間的矛盾。

所以評審們也是壓力山大啊，每天有那麼大的工作量。黃老師在論文一開頭就一本正經義正辭嚴地指出：這為目前的同行評審系統帶來了相當大的負擔。

谷歌研究員David Ha對此深表同情，他說：

今年CVPR就收到了5000多篇投稿，如果我是程序主席，要說沒想過訓練個鑒別器減輕評審工作量那肯定是在說謊。

不知道黃老師這項研究，是不是看著2019年的投稿情況，有感而發。

任性「丑拒」，誤判率僅0.4%

怎麼判別論文怎麼樣？CV行業的事情就讓CV工具來解決吧！

黃老師這項爆紅的研究，就是設計了一種分類器，根據論文的視覺外觀來預測會不會被接收。

要訓練演算法識別一篇論文能不能中頂會，自然要用中了和沒中的論文來訓練它。

於是，黃老師收集了近5年的CVPR和ICCV主會和workshop論文。其中，主會論文自然是被接收的樣本，被拒的論文從哪來呢？在這項研究里，這部分樣本用了workshop論文，因為「近似」。

這些論文都被轉成圖片，再去掉首頁的作者和標題。

然後，用ResNet-18分類網路，使用好壞兩種輸出替換ImageNet的1000個分類。根據遷移學習學習，作者使用了隨機梯度下降（SGD）方法對訓練數據集上的ImageNet預訓練網路進行微調。

實驗結果表明，文章提出的分類器可以安全地拒絕50％的不良論文，而錯誤地拒絕好論文的概率只有0.4％。

看似隨意的「丑拒」，誤判率低得驚人。這也嚇到了不少網友，他們各吐心聲，比如：

真是嚇到了根據排版樣式來評判一個想法也太膚淺了吧，歷史上有多少關鍵論文倒在了這一關？

還有人聯想到了顏值之外的歧視：

如果你加上作者性別信息，你會發現，對於女性第一作者/最後一名作者也有偏見。

雖說大多數聲音都在表示擔憂，但大家都對一個小彩蛋喜聞樂見：這個演算法，把這篇論文自己，給斃掉了……

黃老師說，從熱力圖來看，演算法主要是嫌棄這篇論文連8頁都沒寫滿。於是就自殺了

他也指出，這個「自殺了」的研究有它的局限性。

首先，這種方法只看論文顏值而不管內容。如果你寫的是一篇好文章，只是排版比較糟心，那麼很可能被「誤殺」。

其次，他用的都是CV行業大會的論文，評審的偏好會影響分類器最終的結果，所以如果你要投其他方向的論文，分類器篩選的結果也不可信。

好論文長什麼樣？

網友們吐槽之外，還提出了一個普遍關心的問題：究竟長什麼樣的論文才能中頂會？

這在論文中就有答案。

黃老師把前面數據集里的主會論文餵給了GAN，做了一個優質論文生成器，讓GAN來生成論文版式。

上面這些，就都是演算法自動生成的「好」論文樣式。它們通常靠前安排了說明性圖表，圖文並茂還是彩色的，文字、數學公式、表格、圖解分布均衡。

傳送門

作者已經在GitHub上列出了這項研究的一大堆相關地址，包括論文、數據集、預訓練模型權重、潛在空間的可視化視頻等等。

地址在這裡：

https://github.com/vt-vl-lab/paper-gestalt

一篇論文的命運竟然和顏值息息相關，這事兒你怎麼看？

作者系網易新聞·網易號「各有態度」簽約作者

—完—

加入社群

量子位AI社群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

好看嗎？

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！