ICLR 再聚焦「AI鍊金術」，不同的是一些解決思路浮出水面

去年 12 月，加州舊金山 Google 分部的 AI 研究人員 Ali Rahimi 在一場 AI 會議的演講中大力抨擊 AI 領域的現狀，這個演講收穫了長達 40 秒的掌聲。Rahimi 在當時的發言中指出，計算機通過反覆試驗來學習的機器學習演算法已經成為了一種「鍊金術」——研究人員不清楚為什麼某些演算法有效而其他演算法不可行，也沒有嚴格的標準來選擇模型結構。

在近日於溫哥華召開的 International Conference on Learning Representations （ICLR）會議上所發表的論文中，Rahimi 及其合作者舉例說明了「AI 鍊金術」問題，並提供了一些加強 AI 嚴謹性的解決辦法。

圖丨三維圖展示「隨機梯度下降法（SGD）」通過試錯的方式尋找最低點來優化演算法的過程

「AI 鍊金術」問題與 AI 的可重複性問題截然不同，可重複性問題是指由於實驗環境的不一致，研究人員無法復現彼此的結果；它也不同於機器學習中的「黑盒問題」或者叫「可解釋性問題」，即難以解釋 AI 模型是如何有效工作的。正如 Rahimi 所說，「機器學習模型是一個黑盒子，和整個 AI 領域的研究都變成了黑盒子，這是兩個完全不同的概念。」

他還表示，如果不能深入理解搭建和訓練模型所用到的基本工具，AI 研究人員就像中世紀的鍊金術士——不過是依賴於道聽途說的傳聞罷了。

加州山景城的 Google 計算機科學家 Fran?ois Chollet 補充道，「人們很容易陷入『舶來品崇拜』（看見外來的先進科技物品，便會將之當作神祇般崇拜）」。例如，調整 AI 模型學習率的方法，他們只會使用它卻不理解為什麼這個方法就比別的好。再比如 AI 研究人員訓練模型的過程，就像在黑暗中前行。他們實現了所謂的「隨機梯度下降法（SGD）」，來優化模型參數以儘可能降低錯誤率。然而，儘管有數千篇關於這一課題的學術論文以及應用該方法的無數方式，但這個方法的驗證仍是依賴於試驗所得。

Rahimi 的這篇論文強調了一些演算法中的不必要設計以及其可能導致次優表現這一現象。比如，一個新的機器翻譯模型在被去除掉一些複雜部分之後取得了更好的翻譯效果，這就說明模型的原始設計者並沒有完全理解那些多餘部分。而倫敦 Twitter 的機器學習研究人員 Ferenc Huszár 也指出，有的時候又是完全相反的情況——一個演算法的精華部分就在於那些小的看似多餘的設計，而還有的情況是，一個演算法本身在技術上是有缺陷的，可卻能因為上層調用的小技巧而表現出色。

Rahimi 還提供了一些建議，用於深入分析哪種演算法效果最好、什麼時候效果最好這些問題。他說，研究人員應該像之前提到的翻譯演算法那樣進行「消融研究」——一次刪除一部分演算法，以查看每個部分的功能。他還呼籲進行「切片分析」，仔細分析演算法某些部分的改進可能會在其他什麼地方犧牲性能。另外，研究人員應該在不同條件下測試他們的演算法，並且報告所有的性能。

加州大學伯克利分校的計算機科學家 Ben Recht 也是 Rahimi 的鍊金術主題演講的合作者，他說人工智慧研究需要借鑒物理學研究方法——將問題縮小成更小的問題。「物理學家很擅長設計簡單的實驗以剖開現象、解釋本質」，他說道。一些 AI 研究人員已經開始採用這種方法，比如在處理大量彩色照片之前，先在小的黑白手寫字元圖片上測試圖像識別演算法，以便更好地理解演算法的內部機制。

倫敦 DeepMind 的計算機科學家 Csaba Szepesvári 說，該領域也需要減少對比賽結果的重視。他說，比起解釋演算法內在原理的論文，測試結果超越了當時基準模型的論文，更可能被發表。各種「造型奇特「的翻譯演算法正是這樣通過同行評審的。「科學的目的是產生知識，」他說，「應該去創造一些其他人可以採用並繼續開拓發展的東西。」

但也並不是每個人都同意 Rahimi 和 Recht 對 AI 領域的批判。Facebook 的首席人工智慧科學家 Yann LeCun 擔心，將過多技術嘗試上的努力轉移到演算法理解上可能會減緩創新速度並阻礙人工智慧的實際應用。「這不是鍊金術，而是工程學，並且，工程本來就是混亂的。」

Recht 強調了系統性研究和探索性研究的同等重要性。「這兩個方向我們都需要，」他說，「我們需要搞清楚哪些地方有弊端，以便能夠建立可靠的系統；我們也必須推進前沿工作的探索，實現飛躍。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！