中國小伙CVPR 18論文遭質疑：同行難復現，要求評議組撤稿

安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

國慶前的這場學術風波，比以往時候來得都猛一些。

昨天，ID為p1esk的網友在Reddit論壇提出，國際頂會CVPR 18的接收論文Perturbative Neural Networks（擾動神經網路）有點不對勁。

這篇論文自稱提出了一種輕量且高效的模型，可以當作卷積神經網路的替代品，且準確率高達90.53%。在多次動手實操之後，網友p1esk發現得到的最高準確率僅為85.91%，結果根本無法復現。

論文復現難，這個存在於整合學術圈的普遍且嚴重的問題，讓整個行業討厭和頭大。浪費了別人大把時間，只能聞但吃不到，不知困擾著多少長江後浪。

p1esk覺得，這篇幾乎可以宣判無效的論文不能再浪費大家時間了，應該被即刻撤回。

彷彿往論壇深水區投下一顆炸彈，該學術風波頃刻間引發了大量討論。

「打折」的準確率

問題的焦點，就在論文提出的準確率計算方法上。

在論文Perturbative Neural Networks中，研究人員成提出的CNN替代品擾動神經網路（PNN），消除了傳統意義上的卷積，並將這種響應計算為一種加權線性組合，同時輸入了非線性激活的加性雜訊（additive noise）擾動。

論文Perturbative Neural Networks

地址：https://arxiv.org/abs/1806.01817

論文作者通過分析和實踐，證實了擾動層能有效替代傳統的卷積層，在MNIST、CIFAR-10、PASCAL和ImageNet等視覺數據集中測試時，參數較少的PNN和標準CNN的運行效果相當。

看到PNN模型方法新穎、結果優異、還提供了相關代碼，網友p1esk覺得很有意思，也按照所說的方法嘗試復現。在GitHub上，小哥分享了自己的復現結果。

復現前，p1esk先分析了論文作者的原始實現，發現在第一層網路中，原始實現應用了常規的卷積，但其餘層用了大小是1的扇出，也就是每個輸入通道都用了單一雜訊掩膜（noisy mask）。

隨後，p1esk發現原始實現的最大問題：精確度計算方法不正確。作者沒有在測試數據集的全部示例上計算準確率，而是選擇在每個批次中分別計算，並且應用的了平滑權重的神經網路。原論文作者計算的準確率，實際上＝0.7*上個批次的準確率+0.3*當前批次的準確率。

一來二去，p1esk和原作者的實現結果就不太一樣了：

當模型運行CIFAR-10數據集中的noiseresnet18時，原論文中的準確率為90.53%，而p1esk用修正後的方法得到的最高準確率為85.91%。

那麼問題來了，這個開始就被誤算的方法，到底有沒有用？網友p1esk又進行了大量實驗，想驗證如果用雜訊掩膜擾亂輸入，是否會得到更好的結果。

為此，小哥搞了三個模型：一個減少了濾波器數量的基準模型，讓參數數量和PNN差不多；一個除第一層外所有層都使用無噪音1×1卷積的模型；和一個除第一層外，所有層都用了擾動版1×1卷積的模型。

一番操作之後，小哥發現添加雜訊掩膜比無雜訊的等效「殘缺」ResNet的改進不超過1%，無論如何應用雜訊掩膜，使用1×1濾波器都會導致準確率下降。

最後，p1esk得出結論：論文中準確度計算方法不正確，且作者提出的方法無效，故論文沒有意義。

不過目前來看，這些還僅是p1esk的一面之詞，此時目前還尚無定論。

引發熱議

p1esk的復現過程引來了多人圍觀，對於這件值得討論的學術風波，大家的看法並不一致。

最先一波評論基於事件本身，不少網友感慨論文「難以復現」是當下科研面臨的一大難題，自己深受其害。

也有針對p1esk本身質疑的質疑。網友alexmlamb研究了p1esk的復現方法後，覺得「PNN無效」的結論有些站不住腳，且復現中給出的實際準確率和報告中提到的準確率在100次迭代時相差並不多。

好消息是，事發之後，被質疑的團隊沒有裝聾作啞，也很快站出正面回應了p1esk的質疑。

論文一作Felix Juefei-Xu（Reddit ID：katanaxu，後稱Xu同學）首先感謝了網友為實現PNN做出的努力和提醒，目前團隊正在徹底分析這項工作，在能提供進一步回應之前，完全肯定團隊的工作。

對於網友指出的驗證方法的問題，Xu同學承認了這中間的疏忽，並表示如果確實結果相差太多，團隊會收回論文：

「在我們的可視化工具中默認了平滑函數是一個疏忽，目前我們已經修復了它，正在重新運行整個實驗。我們將用更新後的結果更新arXiv論文和Github。如果實驗結果表明我們的結果確實比CVPR版本中報道的差得多，我們將收回論文。」

針對網友的復現，Xu同學也提出了自己的看法：「綜上所述，根據我的初步評估，在他的實現中，只要選擇合適的#濾波器、雜訊等級、優化方法，目前可以在CIFAR-10上實現90~91%的效果，而他選擇的上述參數是85~86%。不過在沒有看到他更多（的過程）時，還是先不多說了。」

一作回復原文

中國學生

也是Xu同學的回應比較真誠和理性，隨後贏得了不少網友的好評。

網友toadlion表示，雖然結果有誤聽起來讓人有些失望，但一作的回應講道理，是種正確的處理方式。

網友kugkfokj也贊同作者的回復，不過他覺得即使是結果有誤也不應該收回論文。「科學不僅僅包含什麼是正確有用的，也包含什麼是行不通的，兩者同樣重要。」他說。

「每個人都會犯錯誤，如果可以節省他人的時間，那這個錯誤就是有價值的。」網友mikolchon說。

就連發帖提出質疑的網友p1esk，也讚揚了Xu同學等人的行為，他認為，作為科研人員，把自己的代碼分享，本身就是學術圈裡值得提倡的事情，而準確率計算方法的錯誤更像是一個「誠實的失誤」。

其實，這個不避諱質疑的團隊，第一作者還是一個中國小伙。

這篇論文來自CMU和密歇根州立大學的Felix Juefei-Xu，Vishnu Naresh Boddeti和Marios Savvides三人。

一作Xu同學是一名中國小伙。本科畢業於上海交通大學的電氣工程專業，在CMU讀研深造後，繼而在CMU攻讀電氣與計算機工程博士學位，師從Marios Savvides教授，目前在CMU CyLab生物識別中心繼續做研究。

Marios Savvides教授

一路走來，Xu同學也屬於「別人家的孩子」。

在讀高中時，Xu同學參加了當時熱播的高中智力競賽節目《SK狀元榜》，獲得了周冠軍。次年，獲得了上海優秀普通高中畢業生的榮譽稱號。

春妮主持的電視節目《SK狀元榜》

隨後，無論是全國大學生英語競賽獲獎，還是在外深造時在IEEE系列會議上獲得的各類最佳論文，一路走來，Xu同學也算走得踏實。

One More Thing

一邊是論文的復現困難，一邊是作者的真誠回應。不知此事，你怎麼看？

—完—

加入社群

量子位AI社群28群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話界面回復關鍵字「交流群」，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話界面回復關鍵字「專業群」，獲取入群方式。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！