Michael Nielsen《神經網路和深度學習》：智能可以用簡單的演算法表示嗎？

知識 10-13

1新智元編譯1

來源：michaelnielsen.com

作者：Michael Nielsen

譯者：劉小芹

【重要通知：世界人工智慧大會現場一律憑活動行二維碼入場，不接受現金購票，分論壇票只有下午可以入場】2016 世界人工智慧大會活動行瀏覽過 5 萬，大會售票進入尾聲，還有一些已購票付款的公司和機構未換二維碼。活動行在大會現場設有諮詢席位，但提前換二維碼節省簽到時間。請團購註冊的公司關注，務必提醒參會的同事們手機接收二維碼，如果不清晰可以列印出來，現場在簽到處換領大會嘉賓胸卡。

【新智元導讀】本文選自量子物理學家、著名科普作家 Michael Nielsen《神經網路和深度學習》最後一章，探討智能能否用簡單演算法來表示。Nielsen 從人類大腦複雜的工作機制講起，介紹了正反兩方的觀點及其原因：分子生物學認為大腦機制終能得解，以明斯基「心智社會」理論為代表的觀點認為，智能描述的現象包含了複雜的機制。Nielsen 本人認為，保持樂觀，相信能找到解釋大腦的簡單機制並為此而努力是非常有價值的。

Michael Nielsen《神經網路和深度學習》：智能可以用簡單的演算法表示嗎？點擊播放 GIF/58K

（文／Micheal Nielsen）本書關注神經網路的一些基本性問題：神經網路是怎樣起作用的？怎樣利用它們來解決模式識別問題？本書提供了許多實用工具，但當然了，我們對神經網路感興趣的原因之一，是希望它們能遠遠超出這些基本的模式識別問題。也許神經網路或其他基於數據計算的方法最終會被用來製造有人的思想，甚至超越人類智慧的機器。這個概念遠遠超出了本書討論的範圍——世界上也沒有哪個人知道怎樣製造這樣的機器。但展望未來是挺有趣的事。

計算機擁有人類智能的可能性這個問題已經有過許多爭論，但本書里我不會加入這些爭論中。儘管這些爭論仍在繼續，我相信智能計算機的可能性不需懷疑——雖然這會非常複雜，也許遠超現代技術的能力——但現在懷疑它的人總有一天會像生命力論一般被推翻。

用簡單的法則解釋複雜現象早有先例

我在本書中探討的問題是：是否存在一些簡單的法則，能用於解釋智能？更具體地說，是否有一種能解釋智能的簡單演算法？

這是個大膽的構想。也許聽起來過於樂觀，讓人很難相信它會成真。許多人有一種強烈的直覺，認為智能具有不可化約的複雜性。他們深感人類思維的變化多端和可適應性，認為不可能存在一種解釋智能的簡單演算法。儘管存在這樣的直覺，我認為匆忙下結論並不明智。科學的歷史長河中有無數這樣的例子：一些現象最初看起來非常複雜，但一段時間之後就能用一些簡單有力的觀點來解釋。

比如說，早期的天文學。人類早在遠古時代就知道太空里有許多天體：太陽、月球、行星、彗星，以及恆星。這些天體運行的方式各不相同——恆星運行的軌道相對穩定，而彗星卻有可能出現在任何地方，划過天際，然後轉瞬即逝。16世紀時，只有傻瓜樂天派會認為這些天體的運行可以用一些簡單的法則來解釋。但到了17世紀，牛頓提出萬有引力定律，不僅能解釋天體的運動，甚至能解釋地球上的現象，例如潮汐和影子。

科學上這樣的例子還有很多。再如，組成我們這個世界的無數化學物質能夠用門捷列夫的元素周期表以及量子力學的一些簡單法則完美解釋。以及，生物世界的複雜多樣起源於自然選擇進化論。這些例子，以及其他還有很多例子，都表明僅僅由於人類大腦——目前是智能的最佳例子——的機能似乎非常複雜，就否定解釋智能的簡單法則的可能性是不明智的。

儘管有這些樂觀的例子，但智能只能由大量從根本上不同的機制來解釋的觀點邏輯上也是說得通的。以我們的大腦為例，大腦的許多機制或許是由人類進化過程中不同的環境選擇形成的。如果這種觀點正確，那麼智能具有相當不可計算的複雜性，不可能存在一個能解釋智能的簡單演算法。

哪一種觀點是正確的呢？

要深入了解這個問題的話，讓我們先提一個相關的問題，就是人類大腦的工作機制有沒有簡單的解釋？讓我們了解一下定量大腦的複雜性的一些觀點。

分子生物學的觀點：大腦的複雜性，可解

第一種觀點是大腦連接組的觀點：大腦有多少神經元，有多少膠質細胞，以及神經元間有多少連接？你也許聽說過的數據是：大腦擁有大約 1000 億的神經元，1000 億膠質細胞，以及百萬億神經元間的連接。這些數據大得驚人，令人生畏。如果我們為了了解大腦的機制，需要去了解所有這些連接（不僅是神經元和膠質細胞間的連接），那麼我們肯定無法得出一個解釋智能的簡單演算法。

第二種觀點，也是更樂觀的觀點，是分子生物學中關於大腦的觀點。該觀點提出的問題是：描述大腦的構造需要多少遺傳信息？為了回答這個問題，我們首先需要考慮人和大猩猩的遺傳信息的差異。有一種說法你也許聽過：人類和大猩猩的基因相似度達到98%。這個數字有時會有出入，通常在95%至99%之間。這是由於比較的是人類和大猩猩的基因組樣本，而非全部基因組。但是在2007年，大猩猩的完整基因組得到分析，我們現在已經了解到，人類和大猩猩有大約1.25億DNA鹼基對不一樣。整個基因組有大約30億DNA鹼基對，也就是說，正確的數字是人類和大猩猩的基因相似度是96%。

這1.25億的鹼基對中包含多少遺傳信息呢？每個鹼基對能標記四種可能性——即遺傳密碼的「基本單位」腺嘌呤、胞嘧啶、鳥嘌呤和胸腺嘧啶。所以每個鹼基對能用兩組遺傳信息來表示，剛好夠用來指定四個標記之一。那麼1.25億個鹼基對就相當於2.5億組遺傳信息，

也就是人類和大猩猩有2.5億不同的基因。當然了，這2.5億是人類和大猩猩的所有不同基因組，但我們感興趣的是其中大腦的部分。不幸的是，沒有人知道哪部分是大腦相關的部分。但讓我們假定這2.5億中有一半是大腦的，也就是人類和大猩猩的大腦有1.25億組不同的基因。

1.25億是個相當巨大的數字。有多大呢？讓我們把它轉換成熟悉的東西感受一下：它相當於多少英文文本？我們已經知道，英語文本中一個字母的信息佔用一個位元組。聽起來很少——英文字母表只有26個字母——但英語文本的量非常大。當然了，你也可以說我們的基因組也十分龐大，每對基因組有兩位元組已經是高估。但讓我們忽視這點，因為這最多表示我們高估了大腦的基因複雜性。根據這些假設，我們可以得出人腦和大猩猩腦的差異相當於約1.25億個單詞，或約2500萬英文單詞。大約是《聖經》的30倍。

信息量相當龐大。不過也還沒龐大到無法理解。也許單獨一個人無法全部理解這些文本，但一群專業人士或許就能理解。但跟大腦的 1000 億神經元、100 億膠質細胞和 100 萬億神經連接比起來，這些就算小兒科了。就算我們粗略用 10 個浮點來描述一個連接，那也需要 70 萬億的位元組。這意味著人腦連接組比基因描述要複雜大約 5 億倍。

這表明我們的基因組不可能包含有神經連接的所有信息。它只能包含大腦機制的總體構造和最基本的一些法則。但這些構造和法則足夠讓人類具備智能。當然，前提是——小孩子擁有健康、激勵的成長環境以及充足的營養來發展智力。假設我們都在合適的環境中成長，一個健康的人類會擁有非凡的智能。從某種意義上說，我們的基因里包含有人類如何思考的本質。

更進一步地說，基因里包含的原則信息似乎超出了我們的理解能力。

以上提到的所有數字都只是非常粗陋的估計。1.25 億位元組有可能是極大的過估，也可能人類思維背後有一些更加集中的核心原則。也許 1.25 億的大部分只是相關細節的微調，又或許這個數字還是太過保守。我們現時的目標關鍵是：大腦的構造非常複雜，但也不像你大腦神經連接的數量那麼複雜。分子生物學的觀點認為，人類總有一天能夠弄明白大腦構造背後的基本法則。

前文中我忽視了 1.25 億位元組大概就是人腦和大猩猩腦的遺傳差異這一事實。不是所有的腦功能都由那 1.25 億個單位決定。大猩猩本身就有相當高的智慧。也許智能的關鍵在於大猩猩和人類共同的心智能力（和遺傳信息）。如果這是真的，那麼人腦也許只比大猩猩腦高級一點點，至少在智能背後的原則的複雜性上是如此。

分子生物學關於大腦的觀點讓我們對大腦複雜性的描述減少了好幾個數量級。雖然令人鼓舞，不過這並不能說明一個解釋智能的簡單演算法的可能性。這種複雜性還能更進一步地減小嗎？

更確切地說，我們能解決「解釋智能的簡單演算法的可能性」這個問題嗎？

不幸的是，沒有有力的證據能解決這個問題。讓我介紹一下現有的證據，需要指出的是，這是一個非常簡短、不全面的概述，旨在介紹近期的一些研究進步，而非全面的調查。

演化心理學和神經解剖學的觀點：「智能」包含了複雜的機制

證據之一是2000年4月發表於《自然》雜誌的一個實驗報告。Mriganka Sur帶領一組科學家「重接」了新生雪貂的大腦。通常，雪豹眼睛接收到的信號會被傳達到大腦的視覺皮層部位。但科學家改變了雪豹眼睛的信號傳達路線，使得信號會傳到大腦的聽覺皮層部位。

大腦的視覺皮層有許多方位柱，由一些神經元小板構成，每個神經元會對視覺刺激做出特定的回應。視覺皮層里最重要的結構是能定位方向的定向圖。

研究發現當雪豹的視覺信號被傳遞到聽覺皮層是，聽覺皮層會有反應。方位柱和定向圖會在聽覺皮層上形成。雖然比視覺皮層中形成的定向圖無序，但很相似。科學家進一步試驗雪豹對視覺刺激作出的反應，訓練它們對從不同方位照過來的光線作出不同的反應。實驗表明雪豹仍然能利用聽覺皮層學會「看」。

這個實驗的結果令人驚奇。這表明大腦中處理不同感官的部位有著一些共同的原則。這為智能有一些簡單的法則這個觀點提供了支持。不過，我們不能忽視這個實驗的一些局限。行為測試里只測試了雪豹對大型物體的視覺反應，以及，我們也無法詢問雪豹「你學會看東西了嗎？」所以這個實驗無法證明「重接」的聽覺皮層是否也能讓雪豹有同等的視覺能力。

那麼智能的簡單演算法這個觀點有什麼證據呢？一些證據來自進化心理學和神經解剖學。自從1960年代進化心理學發現人類的普同性，即不同文化和成長環境的人類行為的共性。

這些人類普同性包括母子亂倫禁忌、音樂和舞蹈、以及複雜語言結構的共同特徵例如禁忌詞、代詞，甚至動詞的基本結構，等等。神經解剖學證明人類的許多行為由大腦的特定部位控制，而這些部位似乎所有人都相似。總的來說，這些發現證明人類的許多特定行為在大腦的某些部位中根深蒂固。

一些人從這些結論中認為，我們需要分別解釋大腦的不同功能，以及大腦功能具有不可化約的複雜性，這種複雜性使得對大腦機製作一個簡單的解釋（或者，一個智能的簡單演算法）是不可能的。例如，持這種觀點的包括人工智慧領域一位著名的研究者 Marvin Minsky。

1970年代至1980年代，Minsky基於人類智慧是大社會環境的個性化結果的觀點，提出了「心智社會」理論。他在關於這個理論的著作中概述了他的觀點：

「到底是什麼神奇訣竅讓我們擁有了智慧呢？訣竅就是並沒有訣竅。智慧的力量來源於人的多樣性，而非什麼完美原則。」

在對這部著作的評論( "Contemplating Minds: AForum for Artificial Intelligence", edited by William J. Clancey, StephenW. Smoliar, and Mark Stefik (MIT Press, 1994)中，Minsky基於神經解剖學和進化心理學詳細闡述了」心智社會」的概念，所作解釋與上述觀點相似：

我們已經知道，大腦是由許多不同功能的區域和核心組成，每個區域的構造和排列完全不同，其中許多區域與人類不同的心理活動有關。現代科學的這些新發現表明，傳統上很多用「智能」或「理解」這些常識性辭彙來描述的現象，實際上包含著複雜的機制。

Minsky當然不是唯一抱這種觀點的人。我認為這種論點很有意思，不過我不認為這些證據有足夠的說服力。雖然大腦確實是由許多具有不同功能的區域組成，但不能因此認為對大腦功能的簡單解釋沒有可能性。也許那些不同構造的背後有著共同的基本原則，就像彗星、行星、太陽和恆星的運行背後有著萬有引力這一基本原則。Minsky和其他任何人對這種原則的否定都沒有令人信服的證據。

樂觀的必要性

我自己是偏向於相信存在一種智能的簡單演算法。我喜歡這種觀點的主要原因，除了前文提到的論據之外，是因為這是一種樂觀的觀點。在科學研究中，缺乏理據的樂觀主義者往往比看似有理的悲觀主義者更有勇氣嘗試新事物。這是通向科學新發現的路徑，即使這個發現與最初希望的結果截然不同。悲觀主義者可能在某些領域更「正確」，但在科學發現領域不及樂觀主義者。

這種觀點與人們通常試圖判斷誰對誰錯的方式不同。那是處理日常研究的細節的策略，而這種觀點用於評估那些或許能重新定義整個研究的宏觀、大膽的想法。有時候，關於這種想法是對還是錯我們只有很弱的證據。但我們可以接受不被理解，默默努力去發展這個想法，只有這樣，科學研究才得以進步。

綜上所述，最樂觀地說，我也不相信我們能找到一種解釋智能的簡單演算法。更具體地說，我不相信我們能做出一個非常短的Python（或C，或Lisp，或其他任何語言）程序——比如說，用超過 1000 行代碼——實現人工智慧。我也不認為我們找到實現人工智慧的非常容易描述的神經網路。但我相信我們假裝能找到這樣的程序或網路，並為此努力，是非常有價值的。

這是發現的路徑，通過這一路徑我們總有一天能寫出更長的程序，或建立一個更複雜的網路來表示智能。所以，假裝存在一種終極簡單的智能演算法，並為此行動，是有意義的。

1980年代，著名數學家、計算機科學家JackSchwartz被邀請加入一場人工智慧的支持者和懷疑者間的辯論中。這場辯論最後變得難以控制，支持者興奮地作著超前的主張，而懷疑者悲觀地宣稱人工智慧絕對不可能實現。Schwartz在這場辯論中像一個局外人般，即使爭論升溫也保持沉默。辯論的間歇，他被要求就討論的議題發言。