既要深度學習又要符號化推理，DeepMind新JAIR 論文小試牛刀

雷鋒網 AI 科技評論按：深度學習的研究者們一直希望給神經網路加上顯式的泛化能力，以便讓它完成更困難的任務。DeepMind 近期也在這個方向上展開了研究並在 JAIR（Journal of Artificial Intelligence Research）雜誌發表了論文，也在博客中以一個踢足球為引子介紹了論文的主要內容。雷鋒網 AI 科技評論把博客內容編譯如下。

假想你在踢足球。球到了你腳下，然後你打算把球傳給沒人盯防的前鋒。這個看起來簡單的動作，其實需要兩種不同的思維。

首先，你需要認識到自己腳下有一個足球。這個認知動作需要直覺式的認識思維：你很難詳細描述你是如何知道腳下有一個足球的，你只是看到了這個球而已。然後，你打算把球傳給某一個前鋒，做出這樣的決策需要概念思維。這個決策是基於你自己的判斷做出的：之所以你打算把球傳給這個前鋒，是因為沒人盯防他。

這兩種思維之間的區別讓 DeepMind 的研究人員們感到非常有趣，因為這兩種不同的思維剛好對應了兩種不同的機器學習方法，那就是深度學習和符號程序生成（symbolic program synthesis）。深度學習的核心是直覺式的認知思維，而符號程序生成關注的是概念式的、基於規則的思維。兩種系統各有所長，深度學習對有雜訊數據的魯棒性不錯，但是難以解釋，並且需要很多數據來訓練；而符號化的系統解釋起來就要簡單得多，需要的訓練數據也少得多，但是處理有雜訊的數據就非常困難。人類的認知過程當然可以無縫銜接這兩種不同的思考方式，但是在單個 AI 系統中同樣實現這兩種思維就不是一件簡單的任務了。

DeepMind 的論文《Learning Explanatory Rules from Noisy Data》就研究了這個問題，表明在一個系統中綜合直覺感知思考和可解釋概念推理是可能的。這篇論文也發表在了 JAIR 雜誌上。論文中介紹的系統，「?ILP」，對雜訊魯棒、能高效地利用數據，而且能夠產生可解釋的規則。

在論文中，DeepMind 演示了 ?ILP 在歸納任務中的表現。展示給系統的是成對的數字的圖像，系統要做的是輸出一個標籤（0 或者 1）來表示左側圖中的數字是否小於右側圖中的數字。解決這樣的任務就同時需要前面提到的兩種思維：識別圖像中的具體是哪個數字需要直覺性的認知思維，而足夠泛化地理解「小於」關係則需要概念思維。

推理任務示例

對於一個標準的深度學習模型來說（比如帶有 MLP 的卷積神經網路），如果給它足夠的數據，它也能很快學會解決這個問題。一旦訓練結束，給它看從未見過的對象對，它也能正確分類。可是如果想要它能正確地泛化，還是需要每一對數字都有很多個樣本用來訓練才行。這樣的模型很善於做視覺任務的泛化：只要它看過所有測試集里有的每對數字（如下圖綠色區域），它就能泛化到新的圖像上。但是它做不了符號化思維的泛化：如果有一對數字是它沒有見過的（如下圖藍色區域），它就沒辦法泛化。Gary Marcus 和 Joel Grus 等研究者最近也在文章中指出了這一點，令人深思。

?ILP 和標準神經網路的不同之處就是在於它能以符號化的方式泛化，而且它也和標準的符號化程序不一樣，它可以泛化它的視覺能力。它從樣本中學習到的顯式程序是可閱讀的、可解釋的、可驗證的。對 ?ILP 來說，給它樣本集中的一部分（和需要的結果），它就能產生一個可以滿足它們的程序。它會用梯度下降搜索整個程序空間。如果程序的輸出和參考數據中得到的理想輸出不一致，系統就會引導程序更新，讓輸出更符合數據。

圖中是 ?ILP 的訓練循環

論文中介紹的系統 ?ILP 可以符號化地泛化。當它看過「x>

DeepMind 的研究人員們認為，他們的這項成果某種程度上回答了「在深度神經網路中實現符號化泛化有沒有可能」這個問題。在未來的研究中，他們還打算把類似 ?ILP 這樣的系統集成到強化學習智能體和更大的深度學習模型中。他們希望賦予智能體新的能力，不僅要能夠推理，還要懂得做出即時反應。

論文地址：http://www.jair.org/media/5714/live-5714-10391-jair.pdf

viaDeepMind Blog，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！