兒子轉眼就長大：Hinton、LeCun、Bengio 口述神經網路簡史

雷鋒網 AI 科技評論按：經過過去五年的發展，AI 已經從一種玄學概念發展成了科技產業最大的希望之一。計算機已經能夠識別人臉和事物、理解人類說出的話，以及翻譯多種語言。谷歌母公司 Alphabet，亞馬遜，蘋果，Facebook 和微軟這些全球最大的科技巨頭們，都已經很大程度上將自己的未來押在了 AI 上面，他們開啟了一輪「誰先打造出更智能的機器」的 AI 競賽。巨頭們的 AI 競賽點燃了 AI 技術，幾乎是一夜之間特斯拉的自動駕駛汽車已經賓士在路上，而亞馬遜語音助手 Alexa 也正和你的孩子聊天。但 AI 並不是一晚上建成的，也非單個矽谷公司的獨立作品。

現代 AI，也就是神經網路和機器學習，背後的歷史可以追溯到二戰的最後的階段。那時候，學者們剛剛開始試著打造能像人腦那樣存儲和處理信息的計算機系統。自此開始的幾十年間，這項技術起起伏伏的發展著，但是它直到接近 2012 年才開始廣泛的受到計算機科學家的青睞，這多虧了一小撮不懼被當成傻子的固執 AI 研究者的堅持。他們始終堅信神經網路將點亮世界，並改變人類的命運。

這些先驅者們散落在世界各地，不過投身神經網路研究的學者們在加拿大這個地方尤其集中。其實他們能來加拿大很大程度上只是因為運氣好：神經網路的研究在當時無論如何都算不上時尚，那時候由政府支持的加拿大高級研究所（CIFAR），通過資助神經網路研究的方式吸引了一小撮專業學者來到加拿大。這其中就包括如多倫多大學的 Geoffrey Hinton 和 Yann LeCun，蒙特利爾大學的 Yoshua Bengio，阿爾伯塔大學的 Richard Sutton 這樣一些計算機科學家們，給了他們機會分享自己的研究理念、堅守自己的研究事業。這些固執的計算機科學家們提出了很多加速 AI 發展的概念，到現在，所有這些早期概念都被認為是現代 AI 的基石，這幾個人也被認為是 AI 的「教父」。本文接下來要講述這樣一個有點奇特的故事，該故事取材自 Bloomberg 記者 Ashlee Vance 對他們各自採訪的內容，這些內容包括「神經網路為什麼花了這麼久才發揮作用？」「熱愛神經網路的計算機科學家是如何抱團在一起的？」「為什麼全世界這麼多地方里就選擇了加拿大？」這一切最終都成為了智能機器崛起的舞台。

雷鋒網 AI 科技評論全文編譯如下。

加拿大總理 Justin Trudeau：廣泛意義上來講，AI 指的是一台計算機能夠模擬人類想法或行為的電腦。在這種定義下，就誕生了機器學習的概念，其中你會讓計算機反覆做一個實驗。這種情況可能是模擬一輛自動駕駛汽車在道路上行駛，或者機器嘗試認出照片里的一隻貓。

在這一理念下，就涉及到了機器學習的一個叫做深度學習的子集方法。深度學習的總體思想是打造一個神經網路，神經網路中的權重和偏倚可以進行調節，直到網路給出理想的輸出。深度學習可以讓計算機的問題解決能力迭代進化，這也就是 Geoff Hinton 和其他科學家們在過去幾十年里真正研究的東西，深度學習也是當前 AI 技術最讓人激動的基礎所在。深度學習在模仿人腦思考方面的表現也更加出色。

Cade Metz，紐約時報記者，《A Forthcoming History of AI》一書的作者：神經網路的靈感要追溯到 1940 年代，當時有人提出構建一種能模擬人腦內神經元網路的計算機系統。但是就在不久後的在 1950 年代，一個叫做 Frank Rosenblatt 的人真正地推動了這樣研究的發展。Frank Rosenblatt 教授當時也與美國海軍以及其他政府部門進行合作研究，基於神經網路的概念他開發出了這種名為「感知機」的東西。當他曝光自己的成果時，紐約時報和紐約客這樣的雜誌將其放在了最顯眼的位置進行了報道。

Rosenblatt 聲稱這個感知機將不止能做如識別圖像這樣的小任務，理論上還能教機器行走，說話和做出表情。但是感知機僅僅有一層神經元，這也就意味著它能做的事情極其有限。更不用說，實際上他承諾的該設備的功能一項也沒有實現。

當時，Rosenblatt 的一個同事名叫 Marvin Minsky，Minsky 也碰巧是在 Rosenblatt 在 Bronxt 讀高中時的同學，Minsky 在 1960 年代寫了一本書，他在書中詳細地介紹了 Rosenblatt 開發的感知機和神經網路的局限性。幾乎就是因為這本書，神經網路這一領域的研究至少被冰凍了十年之久。

Geoff Hinton：Rosenblatt 的感知機本來能夠實現一些有趣的事情的，但是他超前了大約 50 年。儘管同學 Minsky 也曾經可以算作神經網路的信徒，但他在書中顯示出了他們解決不了的東西。這本由 Minsky 和 Seymour Papert 寫的書《Perceptrons: An Introduction to Computational Geometry》基本上將這一領域的研究判了死刑。

Metz：Geoff Hinton，一開始在 CMU，後來在多倫多大學，一直都在堅持著神經網路的想法。他和他的合作者們最終開發出了一種多層的神經網路，也就是深度神經網路，這種網路終於開始在各種不同的任務中大顯神威。

法國出生的計算機科學家 Yann LeCun 也在多倫多的 Hinton 實驗室里做了一年的博士後。後來 LeCun 去了美國新澤西州的貝爾實驗室。

Yann LeCun：我很小的時候就對智能這一整個概念非常著迷。我長大的時候正是 1960 年代，那時候有太空探索、有最早的計算機和 AI 的出現。所以我開始學習工程學，我對人工智慧非常感興趣，即便這個領域那時候才剛剛萌芽。

我聽說了感知機的事情，覺得很好奇，因為我覺得「學習」就是智能的一部分。我就各種途徑找到了所有關於感知機的東西來讀。作為一個工程師，有一條明擺著的途徑就是嘗試自己製造一台有智慧的機器，它會促使你關注那些產生智慧需要的組件。這有點像是航空學的先驅們從鳥類身上得到啟發，但也同時也不是全盤照抄。我們其實不需要模仿生物智能或者是大腦，因為它的功能的很多方面就只是受制於生物化學或者生物學的基本規律，而不是真的和智慧本身有多大關係。就像羽毛對飛行來說不是必須的，真正重要的是其中隱藏的空氣動力學原理。

Metz：有些人曾認為LeCun是個徹頭徹尾的瘋子，他所做的研究都是徒勞。當時，如果你參加大型人工智慧會議，說自己研究的是神經網路，學術界主流肯定會把你排斥在外。當時神經網路都是些邊緣研究。

Yoshua Bengio：在1985年，神經網路是邊緣研究，我在麥吉爾大學學不到這門課程。我學的是經典的符號人工智慧。所以我必須說服我的教授指導我研究神經網路。我獲得了政府獎學金，所以我可以自行選擇研究主題，這對教授來說沒有任何損失。我和他達成了一項協議，我可以做機器學習，但我必須把這一研究應用到他所關心的領域——語音識別。

LeCun：大約在1986年，當時出現了一股神經網路浪潮。物理學家對這些模型產生了興趣，提出新的數學方法，這使得該領域再次被主流接受，這引領了上世紀 80 年代末和 90 年代初的神經網路浪潮。有些人製造了基於神經網路的系統來做一些實際的事情，比如信用卡詐騙檢測。我研究出一個基於符號識別來讀取支票的自動化系統。

Metz：卡耐基梅隆大學的 Dean Pomerleau 在上世紀 80 年代末基於神經網路製造了一輛自動駕駛汽車，這輛車可以在公共道路上行駛。LeCun 在上世紀 90 年代使用這一技術，建立了一個可以識別手寫數字的系統，最終這一系統被銀行所使用。

從80年代末到90年代，神經網路再次復興，出現了一些實際應用，LeCun 的工作就是最好的例子。但之後又到了上限，主要原因是計算能力有限、缺乏可用數據。人工智慧的冬天再次襲來。

Jurgen Schmidhuber：我們肯定沒有使用那些加拿大人（註：此處指 Bengio）的演算法；他們在使用我們的演算法。LeCun 本來是法國人，我們在用他的演算法。這很好。他有很多的貢獻，這非常重要、非常有用。

我已經與這些研究人員認識很長時間了。我第一次見到 Yoshua 時，他與我的學生髮表了同樣的研究，或多或少一樣，那項研究我的學生在四年前就發表了。幾年後，在一次會議上，我們攤牌了，所有的一切都真相大白。研討會上大家進行了一場公開辯論，很明顯是誰先做的研究。這不會令人不悅，只是澄清事實而已。進行科學研究就是澄清事實。

（而 Bengio 否認了 Schmidhuber 的說法。）

LeCun：當時的問題是這些方法需要複雜的軟體、大量的數據以及高性能的計算機。沒有多少人有機會利用這些資源，也鮮少有人樂意投資。

在上世紀 90 年代中期至 2005 年左右，人們選擇了更簡單的方法——沒有人真正對神經網路感興趣。對Geoff, Yoshua和我來說，這真是一段黑暗時期，我們並不感到痛苦，但會有點悲傷。我們認為存在明顯潛力的研究，大家竟然選擇視而不見。

Hinton：當然，我們一直相信神經網路，並致力於這一研究。但是工程師們發現，在小數據集上，其他的方法與神經網路相比也同樣有效或者更加有用，所以他們選擇了其他方法，認為神經網路只是我們的一廂情願。致力於讓神經網路更加有效的人在當時相當少。

CIFAR 讓世界各地與我們抱有相同想法的人有了更多交流。這時候到了轉折點。

LeCun：正是由於這一小群人堅持認為神經網路是正確的選擇，最終，神經網路重回大眾視野。2003年，Geoff 當時在多倫多，CIFAR 找他做關於神經計算的程序。我們聚在一起，決定努力重燃對工作的興趣。但是，發布我們的想法之前，我們需要一個安全的地方，來舉辦一些小型研討會和會議，真正地發展我們的想法。該項目於 2004 年正式啟動，到 2006 年出現了一些非常有趣的論文。Geoff 也在《Science》上發表了一篇相關論文。

Trudeau：在上一個人工智慧寒冬，當大多數人放棄神經網路研究，有些人繼續前進，加拿大悄然建立現代 AI 研究的基礎，那我可以肯定地講，加拿大在這方面，在支持純粹科學研究上，一直做得很好。

我們給真正聰明的人提供了做前沿研究的機會，即便他們的研究可能不會落地到商業或某些具體的地方。

Hinton：2006 年在多倫多，我們開發出了這種訓練含有多個層的網路的技術，它比以前的技術更高效。同一年我們在《Science》發表了一篇論文，它產生了很大影響，也為我們的主張起到了很大支持作用，很多人重新燃起了對神經網路的興趣。2009 年的時候我的實驗室里有兩個學生開發了一種用深度神經網路做語音識別的方法，它的效果要比當時所有別的方法都好。

其實它的提升也就只有一點點，但是相比之下當時別的技術的發展已經陷入了停滯，30年了都沒有實質性的進步。深度神經網路只需要幾個月的時間就可以比那些方法做得好，很明顯可以看出來只需要短短几年時間，神經網路就還可以有大的發展。

Metz：大概 2009 年的時候，Hinton 很巧地遇到了微軟的語音識別研究員鄧力。就像其他人一樣，鄧力相信 AI 的呈現形式不應當只有符號化 AI 一種。對於符號化 AI ，語音識別系統需要由一行又一行的代碼組成，需要人工設定系統的每一個行為的具體細節，系統研發也進行得非常緩慢。

Hinton 表示他嘗試用神經網路做語音識別，而且已經有了實質性進展。神經網路能夠學會分析語音數據中的模式，而且運行速度也要比一行行代碼組成的符號化 AI 系統要快。鄧力這時候並沒有完全相信 Hinton 的話，但他邀請 Hinton 來微軟繼續推進這項研究，最終還有兩位 Hinton 的合作者也一起來了。微軟的語音識別技術由此跨越了一大步，2010 年時谷歌也跨了一大步。

後來，到了2012年底，Hinton 和兩個學生一起在圖像識別方面也做出了突破性進展，把之前的所有方法都遠遠甩在了身後。也就是直到這個時候，微軟和谷歌之外的業界公司們才開始意識到這個想法有多麼厲害。

值得注意的是，這些都是很老的想法了。但現在神經網路背後的計算能力和數據量就和以前大不一樣。對於微軟和谷歌這種規模的科技企業，他們需要數以千計的計算機共同運行，處理文本、視頻等等各種東西。讓神經網路獲得成功的正是這些：訓練網路需要許多的數據，同時你還需要足夠的計算能力支撐網路的訓練。

LeCun：如果你要問為什麼過了這麼久才成功，那我的回答是，科學研究就是這樣的，人類的心理也就是這樣的。當一種新技術出現的時候，要先有足夠的證據能說服人們它能行，然後人們才會開始大規模使用它。但神經網路的這些方法一直有「挑剔」的壞名聲，想要發揮出效果也需要一些「黑魔法」。

Richard Sutton：計算能力能這樣快速而持久地提升，這是十分驚人的。現在，想要開發更複雜的演算法的人和想要開發更快的計算機的人之間彷彿在比賽一樣。對於設計的演算法的人來說，已經可以考慮設計運行在未來 5 到 10 年內新出現的計算機上的演算法了。

計算機需要什麼是好的、什麼是不好的。所以人類會給它一個特別的信號，叫做「反饋」（reward）。如果反饋值高，那就說明是好的；如果反饋值低，那就說明是不好的。這就是這種設計的目的。

神經網路可以存儲學習過程，而強化學習就是讓你決定你想要改變什麼。

Bengio：距離實現 Geoff、Yann 和我想像中的那種無監督學習還有太遠的距離。差不多企業做的基於深度學習的產品都是主要依靠監督學習的，計算機通過上百萬個案例學會再遇到一個的時候要做什麼。人類當然不是這樣學習的，我們能自主地學習。我們能夠自己探索身邊的這個世界。2 歲的小孩就對基本的物理規律、重力、壓力等等有了直覺，根本不需要他的父母先給他教會牛頓的力學定律和萬有引力定律。我們觀察這個世界、和世界互動，然後對這個世界中的事物會如何運行、自己做了一件事以後接下來會如何發展形成自己的見解。

我們的研究正在轉向無監督學習的新階段，同時它也可以和強化學習方面的成果聯繫起來。我們並不僅僅觀察這個世界而已，我們還與世界互動，根據動作產生的後果來搞清世界的運行規律。

LeCun：我很感興趣的課題是如何讓機器可以像人類和動物那樣高效地學習。當學習開車的時候，你心裡知道如果你開到路外面了就不太好。我們人類能夠預測自己動作的後果，這也意味著我們在做一件事之前就能意識到這件事是好事還是壞事。

所以，我正在追求的目標是找到一些訓練機器的新方式，讓它們能夠通過觀察學習，從而也就能構建出對這個世界的預測模型。如今世界上的某一種生物都對自己所處的環境有預測能力。一種生物越聰明，他們的預測能力就越高。從某種意義上可以認為「預測」就是「智慧」的核心，然後再加上根據自己的預測做出對應行動的能力就好。

未來 3 年、5 年、10 年，或者 15 年，我們很有可能就做出一些顯著的成果，其實這並不算遙遠。不過接下來在這個基礎上做出接近人類智慧的系統就需要很長時間了，可能要花好幾十年。

Bengio：我覺得人類的工作不見得會被機器人取代，即便機器變得非常聰明，甚至比人類還聰明。有一些工作的本質是人和人之間的互動，這類工作我們永遠都希望是人在做。比如我就不喜歡讓機器人照顧自己的小孩或者長輩，以及我住院的時候照顧我。我並不擔心《終結者》那樣的事情發生。我相信，如果我們能夠製造出和我們同樣聰明的機器，那他們也就已經有能力理解我們人類的價值取向和人類的道德觀，從作出對人類有利的行動。

我真正擔心的是 AI 有可能被濫用，比如把 AI 用在武器中。AI 用在廣告中可以影響人們，我們已經可以看到這樣的事情發生。對於 AI 的使用可能有道德或者倫理問題的地方，我們應該直接設計法律來禁止。人類作為一個整體需要變得更聰明一些。

Sutton：我覺得我們把這個領域稱作「人工智慧」就是一個很大的錯誤。它給人帶來的感覺是彷彿它和人類很不一樣，而且也不是真正的智能。這種說法給人們徒增了很多「異類」的感覺，但其實我們在做的事情是一件很有人情味的事情：在機器上重現人類的智慧。

一直以來科學揭示的真相都不是所有人都喜歡的——你確實得到了真相，但這真相併不是你預想的那個樣子。可能這也就是歷史上宗教總會和科學間產生衝突的原因。我覺得隨著我們對人腦的研究越來越多，同樣的事情也會發生。也許我們永遠都找不到「意識」這件事的解釋，有的人會喜歡這個結果，也有人會不喜歡。科學改變不了客觀真相。

每次世界的趨勢發生改變的時候，總是會區分出贏家和輸家；而未來還有很多巨大的變化等著我們。我覺得我們自己就會變成有智慧的機器。我們應當把 AI 看做我們自己，或者看作我們的後代。我們可以按照自己覺得合適的樣子打造它們。

那麼人性是什麼？人性是一種想要變得更好的不懈動力。我們不應該嘗試把所有的一切都停留在原地，然後說這就是應有的樣子。

LeCun：除非我們真的知道以後會發展成什麼樣子，否則對此的任何擔心都只是杞人憂天。我不認同技術奇點的想法，就是說有一天我們造出了擁有超級智慧的機器之後，他們就馬上可以自己製造出更聰明的機器，從此一發不可收拾。相信這個概念的人大概是忘了所有的物理或者社會現象都會遇到各種各樣的阻力，一個指數曲線的增長過程是不可能無限地持續下去的。

好萊塢電影里那種「某個阿拉斯加的天才弄清了 AI 的奧秘，造出了一個超智慧的機器人然後它統治了全世界」的故事是不可能發生的，這簡直太荒唐了。

Trudeau：這件事我並不非常擔心。對於理論上 AI 會有多危險，我們看過的科幻小說和科幻電影已經夠多了。我覺得我們應該保持一個常識，就是技術可以用來做好事，也可以用來做壞事。讓我感到欣慰的是，加拿大就在好的一方里，它在嘗試把大家保持在正確的道路上。我也不希望減緩我們研究的步伐，減緩我們弄清宇宙的真諦。

這裡真正的問題是，我們想要一個什麼樣的世界？我們是希望成功的人都要躲在欄杆圍起的花園裡，所有別的人都很嫉妒、出門的時候會帶著乾草叉，還是希望這個世界上的每一個人都有做出貢獻、做出創新的機會？

Hinton：我覺得這些東西的社會影響很大程度上取決於我們所在的政治系統。本質上，提高商品製造的效率應當會增加社會的總福利。反而會帶來不好的後果的話只有一種可能，那就是這個社會會把生產力提高帶來的好處全部給了社會頂端 1% 的人。我住在加拿大的其中一個原因就是合理的收稅制度：如果你掙了很多錢，你也需要交很多稅。我覺得這樣的設計很棒。

我覺得真正重要的是，我們無法預測未來。只要你開始嘗試猜測未來 20 年可能會發生什麼，你幾乎一定會錯得離譜。不過也有一些東西是我們可以預測的，比如技術進步最終會改變一切。

（完）

via bloomberg，雷鋒網 AI 科技評論編譯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！