行業前沿：結合邏輯和神經網路的?ILP，具備了兩大流派的優點

全文共1308字，預計學習時長3分鐘

人工智慧研究者佩德羅·多明戈斯在其著作《大師演算法》（The Master Algorithm）一書中提出了單一演算法的概念，該演算法可以結合機器學習的主要流派。

毫無疑問，這個想法非常雄心勃勃，但我們已經看到過很多類似的想法。

Google發表了一篇標題醒目的研究論文，該標題為《一種學習所有的知識的模型》，該論文結合了單一機器學習模式下的異構學習技術。

Alphabet的子公司DeepMind又向多模型演算法邁出了一步，它引入了一種稱為可微分歸納邏輯編程（?ILP）的新技術，此技術將邏輯和神經網路結合到一個模型中，以便從雜訊數據中提取規則。

?ILP結合了兩個主要的機器學習流派。連接主義者試圖通過以神經網路的形式模仿大腦的表現來建模知識，此流派一直是深度學習等行為背後的驅動力。象徵主義者依靠邏輯根據易於理解的規則來對知識進行建模。兩個流派都有眾所周知的優點和缺點。

基於歸納邏輯編程（ILP）的符號系統往往能有效地概括知識，並且對過度擬合具有半免疫性。此外，ILP系統往往非常適合於轉移學習場景，在這類場景中，經過訓練的模型可以在其他模型中被複制和重用。ILP系統的主要局限性在於未能解決深度學習場景中常常出現的雜訊或模糊數據。

連接主義系統往往在有雜訊數據的環境中工作良好，並且能夠有效地處理不確定性和模糊性。然而，訓練和改編這類系統往往價格昂貴。而且從連接主義系統中學習到的知識難以理解，這與象徵主義模型的清晰性形成了鮮明的對比。多年來，許多專家強調了將穩健的連接主義學習與象徵關係學習相結合的理論價值。?ILP無疑是朝著正確方向邁出的一步。

從概念上講，?ILP將神經網路與ILP結合起來作為一個模型，此模型既能處理雜訊和模糊數據，同時又能很好地進行概括和避免惡化。?ILP是一種能夠將兩者的優點結合起來的技術，它不同於連接主義模型，因為它可以象徵性地概括知識，它也不同於傳統的象徵主義模型，因為它可以直觀地概括知識。下面的矩陣可以更好地說明三種思想流派之間的比較關係。

讓我們用一個基本的歸納任務來解釋?ILP的功能，其中一對圖像表示數字，並且必須輸出一個指示左側圖像的數字是否小於右側圖像的數字的標籤（0或1）。解決這個問題涉及兩種思維：你需要直觀的感知思維來識別圖像作為一個特定數字的表示，以及概念思維來完全理解它們的大小關係。

下面列舉的任務並不是特別新，可以使用標準的深度學習模型（如卷積神經網路（CNN））來解決。雖然CNN模型完全能夠識別數字的新圖像，但它很可能無法識別數字本身。換言之，像CNN這樣的深度學習策略能夠實現視覺概括，而不是符號概括。

?ILP不同於標準的神經網路，因為它能夠進行象徵性地概括，它也不同於標準的符號程序，因為它能夠直觀地概括。它從可讀、可解釋和可驗證的示例中學習顯式程序。?ILP能為給定的一部分示例生成滿足這些示例的程序。它使用梯度下降搜索程序空間。如果程序的輸出與參考數據的所需輸出相衝突，系統將修改程序以更好地匹配數據。

實驗的結果表明，?ILP能夠通過其他邏輯模型和深度學習模型，在象徵性、形象化方面都優於既定標準。

?ILP是將機器學習中兩個主要方法結合在一起的非常有創意的想法。它將連接主義系統的直觀知識與象徵主義者的概念知識相結合，向模擬人類認知又邁近了一步，並且可能向多明戈的終極演算法也邁近了一步。

留言 點贊 發個朋友圈

我們一起分享AI學習與發展的乾貨

編譯組：王玲、盧佳琦

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！