「Bengio一人署名論文」提出「意識RNN」，用4頁紙進軍通用AI

1新智元報道

關於自由意志是否存在，人類已經爭論了幾千年。越來越多的神經科學家通過實驗，得出結論認為人類對於自由，或者說「自我掌控」的主觀體驗，可能只是一種錯覺。

等等，為什麼我們要在這裡說自由意志？

深度學習三巨頭之一的Yoshua Bengio，昨天在arXiv上傳了一篇論文，不長，只有4頁，而且署名只有他一人。作為偉大（出名）科學家的好處（往往也是壞處），可能就是你的一舉一動都隨時有人關注。所以，我們今天將介紹這篇論文。

Reddit網友評論稱，誰沒有過這樣的體驗——晚上喝高了狂書4頁紙宣洩完一個讓自己感覺好到爆的概念，然後上傳到arXiv？還有人說，這篇論文有著很多上世紀80年代論文那樣模糊、大膽和明晰的語言，那時候的人還無所畏懼，毫不擔心自己會因為研究AGI（通用人工智慧）而出醜。

總之，讓我們來看這篇論文。但在此之前，還是先把自由意志的話題說完，因為這確實與Bengio的論文有關。

準備電位：潛意識引發自發行為

20世紀60年代中期，德國科學家Hans Helmut Kornhuber和Lüder Deecke發現，大腦在產生意識知覺前的瞬間會進入一種特殊的狀態，他們將其稱為「bereitschaftspotential」（BP），也即「準備電位」。

實驗中，Kornhuber和Deecke要求參與者動一下手指（自發行為），但腦電圖（EEG）掃描卻顯示，在這個動作發生前，大腦運動皮層出現了一個緩慢的負電位變化。這個觀察結果完全出乎意料而且違反直覺。他們不得不得出結論認為，潛意識會引起自發行為。

後來的神經科學家使用更先進的方法和工具，設計更完備的實驗，也得出了類似的結果。

總之，在人行動前，還有一個存在於意識的階段，能夠影響乃至決定這些行動；甚至在意識形成前，還有一個無意識的階段，能夠影響人類的決策。但，這就說得太遠了。

意識先驗：抽象空間的意識表徵

Bengio的論文與意識和行動有關。他在論文中提出了一個「意識先驗」（Consciousness Prior），認為在實際行動之前的抽象空間里，也應該有一個低維向量來表徵意識，這對之後在像素空間發生的行為有預測作用。

Bengio在論文中對他的意識先驗理論做了介紹。假設在時間 t 觀察到的狀態是st，ht則是從st 推演得到的高級表徵，那麼ht 可能是某種RNN的輸出：

在這裡函數F 被稱為表徵RNN（representation RNN），ht 為表徵狀態（representation state）。表徵RNN可以被視為大腦在時間t的幾乎全部內容，表徵狀態ht 則是非常高維（並且稀疏）的向量，是智能體能夠獲取的所有信息的抽象表徵。

然後，定義意識狀態 ct，ct 是低維向量，使用注意力機制從ht 推演而來， ct 與前一個時間點 ct-1 有關。這時，

zt 是隨機噪音源。

ct 的值對應思維的內容，也是我們在無意識中獲取的信息的一個很小的子集，但在注意力機制的影響下被帶入了意識中。函數C 是意識RNN（consciousness RNN），在隨機噪音輸入的影響下，隨機在注意力作用下的幾個要素中進行選擇。意識RNN可用於探究對未來的規劃或預測，還可以用來隔離出個別高級抽象，並從中抽取信息。

為了確保假設成立，即有意識的思想能夠完整地包含對未來狀態的陳述，論文引入了驗證網路（verifier network），將過往意識狀態 ct-k 與當前表徵狀態ht 匹配：

V(ht, ct-k) 表明在給定 ht 估計對應狀態概率為真。

最後，鑒於語言是意識最佳也是最方便的一種載體，Bengio還用另一個RNN來描述意識狀態到言語的映射：

這樣，使用語言的學習智能體就有了額外的信息。Bengio還寫道，這項研究打開了將深度學習與經典符號AI和認知科學聯繫起來的大門，並將深度學習從感知轉移到更高層次的認知和知識表徵。

當然，這並不是說我們要回歸到符號主義，而是「去考慮由深度學習智能體所捕獲的那些表徵的一種正則化形式，可以具有許多經典AI事實和規則的屬性，同時也為在這個擁有各種不確定和非離散方面的世界中進行推理和規劃提供更加豐富的表徵」。

好，講到這裡，借用一位Reddit用戶說的，我們缺的就是Pytorch的實現啦:-D

Bengio在論文中討論了如何針對意識先驗設計實驗，像他常說的那樣，要從toy experiment開始。但更多內容，你還是直接看論文吧~

論文：意識先驗

摘要

本文提出了一種表徵學習的新先驗，可以與其他先驗結合，相互輔助解開抽象因子。這種先驗受意識現象的啟發而來，意識被視為構成一種意識思維的幾個概念形成低維組合的過程，即在特定時刻感知到的意識。這為表徵（representation）提供了強大的約束，因為這樣低維的思維向量可以對應於關於現實的陳述，這些陳述可以是真實的，也可以是極有可能的，還可以是對作出決定非常有用的。當前狀態的幾個要素可以組合成這樣一個具有預測性或有用的陳述，無疑是一個強有力的約束，並在很大程度上偏離了數據建模的最大似然法以及未來狀態基於智能體行動的認知。意識先驗讓智能體在抽象空間而不是在知覺（例如像素）空間中進行預測，每次預測時都只涉及抽象空間的幾個維度。在將意識狀態映射為自然語言表述，或用事實和規則的形式表達經典AI知識的時候，使用意識先驗也讓整個過程更加自然，儘管意識狀態可能比那些能夠用句子、事實或規則的形式表達出來的內容更加豐富。

論文地址：https://arxiv.org/pdf/1709.08568.pdf

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！