Yoshua：深度學習AI邁向人類水平的挑戰

來源：學術頭條

本文約2000字，建議閱讀5分鐘。

本文介紹了蒙特利爾大學計算機科學與運算研究系教授Yoshua Bengio作《Challenges for Deep Learning towards Human-Level AI》主題講座。

CCF YOCSEF學術委員會主席唐傑和清華大學計算機系老師崔鵬共同主持講座。講座現場座無虛席，很多同學提前1個半小時就到現場去佔座。

在本次講座中，Yoshua教授介紹說目前的人工智慧距離人類水平仍然十分遙遠，當前人工智慧在工業應用的成果主要是基於監督學習方法。人工智慧仍然面臨巨大挑戰，即無法像人類一樣自主理解外界、與環境交流。Yoshua深度探討了深度學習模型的具體內容，如何實現對抽象特徵的多層次學習，如何更好地進行表示學習，使用判別器優化信息間的獨立性、相關性和熵，BabyAI框架等話題。

他於2017年發表的論文《The Consciousness Prior》，裡面提到與完整的狀態相比，有意識的思想是非常低維度的對象，無意識的大腦=類似於基於規則的系統中的句子或規則，但它們具有意想不到的預測價值或有用性。

論抽象與注意力的關係

注意力可以集中在大集合中的一些元素上

軟關注允許通過基於梯度的優化來訓練此過程backprop

與稀疏自動編碼器不同：控制器有條件地選擇焦點

關於認知的 system1 和 system2

兩個系統（和認知任務的類別）：

系統1：直觀、快速的啟發式，無意識的、非語言的，當前的深度學習能夠做得很好。

系統2：緩慢的、有邏輯和順序的，有意識的經典的符號AI試圖做的事情

教授提到一個很有意思的假設：外來語言理解：思想實驗。

他讓大家想像一下，你自己正在接近另一個星球並觀察外星人相互交流所交換的信息與地球不同，它們的通信信道雜訊很大，但是在地球上，帶寬是昂貴的，最好的通信方式是最大限度地壓縮消息，從而導致實際交換的隨機比特序列。如果我們只觀察壓縮的消息，我們就無法理解外來語言。

那麼我們怎樣才能學會理解外星語言？

我們需要進行地面語言學習：我們需要觀察外星人與他們的信息共同做些什麼，試圖破譯他們的意圖，背景等。為此，我們需要建立一個「外星世界模型」，它可以捕捉到他們行為的因果結構，從而改變他們的環境。

教授問道我們應該先學習一個世界模型，然後再學習它的自然語言描述？還是AI應該共同學習語言和世界？並表示自己更傾向於後者。他說考慮受監督的ImageNet分類器的頂級表示，與無監督學習所學到的相比，它們往往更好，更容易學習。為什麼？因為語言（此處為對象類別）為學習者提供了相關語義高級因素的線索，從中可以更容易地進行概括。你無法單純從大量的語言文本本身來理解它，必須同時學習world model和語言。

教授還提到了關於iid假設的弱化，即假設測試數據來自與訓練數據相同的分布太強，並且在實踐中經常被違反，導致分布不均勻的泛化。並表示建議考慮寬鬆的假設：測試數據是在相同的因果動力學下生成的，但是來自不同的初始條件，通常不太可能服從同樣的訓練分布。

講座最後設置了半個小時左右的提問環節，Yoshua教授既專業又幽默地回答了大家的問題，現場氣氛十分活躍。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！