連接組、深度學習以及未來五年的 AI
「文末高能」
編輯 | 哈比
連接組這個詞從基因組（genome）衍變而來，用來表示人類全部神經元及其連接結構。連接組學主要是通過分析神經元之間的連接和組織方式來達到分析大腦的運行機制這一終極目的的一門學科。
深度學習是機器學習的一個分支，是受人類大腦神經元結構啟發的學習演算法。深度學習還能從神經科學汲取哪些營養？未來五年內的 AI 能達到什麼程度？我們應該從什麼方向進行探索？
本文沒有太多所謂的乾貨，就是想和廣大人工智慧愛好者異想天開的暢想一下人工智慧的未來。
一、神經元
生物神經元，又稱神經細胞，是構成神經系統結構和功能的基本單位。它由細胞體和細胞突起構成。
神經元的突起是神經元胞體的延伸部分，由於形態結構和功能的不同，可分為樹突和軸突。典型的神經元結構如圖 1-1 所示。
生物神經元可以通過刺激產生衝動、傳導衝動；並可以合成化學物質（神經遞質、神經激素等），通過他的軸突輸送到特定部位並釋放，從而產生一個反應。
圖 1-1 生物神經元的結構
第一個正式的人工神經元模型是由沃倫·麥卡洛克（Warren Maculloach）和沃爾特·皮茨（Walter Pitts）於 1943 年提出的。
這個模型看起來很像組成計算機的邏輯門。人工神經元示意圖如圖 1-2 所示。人工神經元本質上是一組向量的加權求和，並通過激活函數產生一個輸出。單個的神經元模型無法從數據中學習。
圖 1-2 人工神經元
人工神經元和生物神經元有兩個相似點。第一，他們都有輸入（刺激）和輸出（反應）；第二，單個神經元都不能表現出複雜的智能。
二、神經網路與連接組
神經網路在人工智慧領域主要指人工神經網路。
在這裡我想先介紹一下生物神經網路。生物神經網路（Biological Neural Networks）一般指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。
我在讀《連接組：造就獨一無二人的你》這本書時，我對書里一張恆河猴的視覺皮層連接圖有很深的印象（見圖 2-1），當時就在想生物的神經網路連接和人工神經網路有什麼關係嗎？
我們還能不能從生物神經網路里汲取靈感來研發更好的人工智慧？這兩個問題我會在本文的後續部分給出我的思考。
圖 2-1 恆河猴的視覺皮層連接圖
連接組在人的一生當中是變化著的，這種變化在胎兒和嬰兒時期是最快的。連接組的變化一般包括重新賦權、重新連接、重新連線和重新生成。
這四個 「重新」 伴隨人的一生，只是在不同階段會出現以某個重新最為顯著。
這四個重新在提高 「正常的」 大腦和治療疾病或受損大腦的過程中，扮演著非常重要的角色。認識這四個 「重新」 的全部潛能，可以說是神經科學最重要的目標。
另外，這四個 「重新」 的潛能並不是固定的。我們觀察到大腦在受傷後，軸突的生長會增強。除此之外，現在已知新皮層受損後會吸引新生的神經元，使它們遷移到傷處，這也是 「沒有新生神經元」 的又一個反例。
這些由受傷產生的作用是由某些分子作為媒介的，目前還正在研究。理論上說，應該能通過人工方法，通過操作某些分子來促進這四個 「重新」。這是基因向連接組施加影響的方式，也應該是未來藥物的作用方式。
不過，這四個 「重新」 還受到經歷的引導，所以更好的控制方法是在進行分子操作的同時配合適當的強化訓練。
現在讓我們再來看看人工神經網路的發展。上文提過 1943 年出現了第一個人工神經元，但該模型過於簡單。
1957 年，羅森勃拉特（Rosenblatt）以 M-P 模型為基礎，提出了感知機（Perceptron）模型。
感知機模型具有現代神經網路的基本原則，並且它的結構非常符合神經生理學。這是一個具有連續可調權值矢量的 MP 神經網路模型，經過訓練可以達到對一定的輸入向量模式進行分類和識別的目的。
它雖然比較簡單，卻是第一個真正意義上的神經網路。
單層感知機的局限性是不能解決異或問題，這個缺陷被人工智慧創始人之一的明斯基研究發現，並於 1969 年出版了一本《感知機》的書來論述人工神經網路的局限性。
由於明斯基在人工智慧領域有相當大的權威，他的這本書給當時人工神經元網路的研究帶來沉重的打擊。開始了神經網路發展史上長達 10 年的低潮期。
1983 年，Kirkpatrick 等人認識到模擬退火演算法可用於 NP 完全組合優化問題的求解，這種模擬高溫物體退火過程來找尋全局最優解的方法最早由 Metropli 等人 1953 年提出的。
1984 年，Hinton 與年輕學者 Sejnowski 等合作提出了大規模並行網路學習機，並明確提出隱單元的概念，這種學習機後來被稱為 Boltzmann 機。
Hinton 和 Sejnowsky 利用統計物理學的感念和方法，首次提出的多層網路的學習演算法，稱為 Boltzmann 機模型。
隱藏層概念的提出對神經網路是一個重大突破。至此，多層網路結構成為了神經網路的主流，多層網路可以成功異或問題和其它更複雜的模式識別問題。
三、深度學習
2006 年，Hinton 在《Science》期刊上發表了論文《用神經網路降低數據維數》，首次提出了 「深度信念網路」 的概念。
與傳統的訓練方式不同，「深度信念網路」 有一個 「預訓練」（pre-training）的過程，這可以方便的讓神經網路中的權值找到一個接近最優解的值，之後再使用 「微調」(fine-tuning) 技術來對整個網路進行優化訓練。
這兩個技術的運用大幅度減少了訓練多層神經網路的時間。他給多層神經網路相關的學習方法賦予了一個新名詞—「深度學習」。
儘管 2006 年以後深度學習就開始引起關注，但震撼性的影響發生在 6 年後。
在 2012 年 ImageNet 圖像識別競賽上，Hinton 的兩個學生採用深度學習的識別結果，準確率超過第二名東京大學 10% 以上，而第二到第四名都採用傳統計算機圖像識別方法進行分類，他們之間準確率的差別不超過 1%。
也就是說，採用深度學習，把圖像識別的準確率進步一下子提高了一個數量級。
2012 年 10 月，在義大利佛羅倫薩的研討會上，競賽組織者李飛飛宣布了這一壓倒性的結果，在計算機視覺領域產生了極大的震動，並迅速波及到整個 AI 界和產業界。
深度學習的熱潮從此掀起，一波接一波向前迅猛推進，不斷進入一個又一個領域並連戰連捷，勢如破竹，形成今天銳不可擋的 AI 狂潮。
深度學習取得了如此大的成功，是不是預示著深度學習是實現人工智慧的最佳技術路線？深度學習又和人類大腦有多大的相似性？
關於第一個問題，我認為深度學習是目前實現圖像識別、語音識別類任務的最佳技術路線，至於自然語言處理、商業趨勢的分析預測等場景雖然都取得了不錯的成績，但要取得更好的效果往往需要領域的強力支持。
關於深度學習和人類大腦思維過程相似性問題，答案很明確就是相似性不大。
比如人類大腦連接組的四個重新只是在深度學習演算法在訓練階段有一個粗略的模擬，人腦非常擅長的小數據學習目前在深度學習領域還沒有取得太多的進展。黑箱子問題也是深度學習飽受詬病的一個缺點。
不過人腦和深度學習有一個共同點，就是目前對於人類來講他們都具有不可解釋性，都是黑箱子。破解深度學習的黑箱和破解人類大腦的黑箱，在我眼裡都是非常有意思的事情。
這兩件事應該是相互促進，共同發展的。
2017 年，深度學習最大的發展恐怕就是 Hinton 老爺子提出的 Capsule 網路。Capsule 是一組神經元，其活動向量（activity vector）表示特定實體類型的實例化參數，如對象或對象部分。
我們使用活動向量的長度表徵實體存在的概率，向量方向表示實例化參數。同一水平的活躍 capsule 通過變換矩陣對更高級別的 capsule 的實例化參數進行預測。
當多個預測一致時，更高級別的 capsule 變得活躍。我們展示了判別式訓練的多層 capsule 系統在 MNIST 數據集上達到了頂尖的性能，比識別高度重疊數字的卷積網路的性能優越很多。
這個 Capsule 網路可以看做是對人類多層視覺系統的模擬。從這一點可以看出，人類對自身大腦的解密雖然還很初級，但是每一個在神經科學方面的進展都有可能對人工智慧的研發提供靈感，從而實現一個小飛躍。
2018 年初，Gary Marcus 發表了對深度學習的系統性批判論文。
文中列舉了深度學習的十大問題。
（1） 目前深度學習需要大量數據；
（2） 深度學習目前還是太表淺，沒有足夠的能力進行遷移；
（3） 迄今深度學習沒有自然方式來處理層級架構；
（4） 迄今為止的深度學習無法進行開放推理；
（5） 迄今為止的深度學習不夠透明；
（6） 迄今為止，深度學習並沒有很好地與先驗知識相結合；
（7） 到目前為止，深度學習還不能從根本上區分因果關係和相關關係；
（8） 深度學習假設世界是大體穩定的，採用的方式可能是概率的；
（9） 到目前為止，深度學習只是一種良好的近似，其答案並不完全可信；
（10） 到目前為止，深度學習還難以在工程中使用。
這十大問題更多的是從實現通用人工只能的角度來論述的，但是在工業界大部分人可能並不關注是否能實現通用人工智慧。
在筆者看來目前深度學習還是 AI 演算法中最強大，最有力的。不過我們也應該在更多方向上進行探索。
四、人工智慧的未來
談到人工智慧的未來，就避不開兩個話題——量子計算和類腦計算。
量子計算如果能實現那就是非常強大的計算能力，但是如果不了解大腦的運行機制那麼就算有再強大的計算能力也很難實現通用人工智慧。
不過量子計算強大的計算能力可以幫我們解析出完整的人類大腦連接組，在了解人類大腦連接組的情況下再去模擬大腦，進行類腦計算就相對靠譜得多。
要想模擬大腦或者神經系統，連接組和神經元類型這兩個要素缺一不可。
不過，神經元類型的模型所包含的信息，要遠遠少於連接組，因為大多數科學家都相信，神經元類型的數量要遠遠少於神經元的數量。
可以把神經元類型的數量想像成電子設備的零件種類數量。電子設備只由很少的幾種零件組成，比如電阻、電容、晶體管等。所以一台收音機的功能，主要是由它的電路圖決定的。
人腦的零件清單比這長一些，所以需要花很多年的努力，去為人腦的每一種神經元類型建模。但是這個零件清單的條目，畢竟還是遠遠少於零件的總數。這就是為什麼零件的組織結構才是最重要的。
歐洲的藍腦計劃就是用計算機模擬人類大腦，雖然進展緩慢，但也對神經元的活動有了一些模擬，只是還沒有發現這個模型表現出任何智能。
現在的類腦計算在沒有搞清楚人腦的連接組和神經元模型的情況下也在進行積極探索，因為搞計算機的人已經等不及神經科學發展的步伐。
在未來五年內人類腦科學可能都無法給人工智慧太多理論指導，在這種情況下我們構建人工智慧系統除了參考腦科學給的一點啟發外，還應該重視數學工具的應用，現在的深度學習演算法更多的是一種統計模型。
那麼既然是談人工智慧的未來，那麼有一個問題我在這裡也向回答一下。
那就是人工智慧會不會毀滅人類，在這裡我給出的答案是：「不會，你是不是科幻電影看多了」。至少五年內還看不到人工智慧毀滅人類的可能性。
前幾天，LeCun（CNN 發明人）飆髒話批 「世界首個機器人公民」Sophia，可見他也認為現在的人工智慧還只是一個工具，遠沒有達到人類智能這個級別。
至於遙遠的未來則是一切皆有可能。不過，按現在物理學的觀點，地球、宇宙也終有毀滅的一天。能不能在地球毀滅前，創造出超過人類的人工智慧還是未知數。
想到科幻小說《三體》的情景，人類還沒實現可靠的人工智慧前就遭受了三體人的入侵，在地球艦隊與三體艦隊的末日之戰中，人類艦隊的計算機系統還遠遠達不到 「水滴」 那樣的強大自主決策能力。
在未來五年內，人工智慧從業者，先不要想著人工智慧會不會毀滅人類，先在更多領域研發出靠譜的，可以部分代替人類工作的人工智慧系統。這個理想就需要所有人工智慧學者、工程師共同努力來實現。
TAG:GitChat技術雜談 |