北大計算機系黃鐵軍CCF-ADL講習班上篇:從計算機發展史講解製造超人工智慧的正途——類腦計算
雷鋒網按:2017 年 7 月 28-30 日,由 中國計算機學會(CCF)主辦的高端學術活動——中國計算機學會學科前沿講習班(CCF Advanced Disciplines Lectures,簡稱 ADL)第 81 期在北京中國科學院計算技術研究所舉辦。
本期講習班由北京大學計算機科學技術系主任,信息科學技術學院教授黃鐵軍主持,另有六名來自學界、業界的大牛,為現場百名學員講解了「類腦計算」相關的前沿與應用。雷鋒網亦到現場聽講。
北京大學信息科學技術學院教授,計算機科學技術系主任,國家傑出青年科學基金獲得者,教育部長江學者特聘教授
黃鐵軍教授回顧計算機和人工智慧的發展,提出目前我們正處於神經形態計算類腦計算機的元年。以AI的誕生、製造強AI、繪製大腦地圖、神經形態計算、AI睜開眼睛為框架體系講解了類腦計算。黃鐵軍認為相比於Brain Inspired Computing(腦啟發的計算),Brain Like(仿腦)是取得突破的可行路線,是走向「強人工智慧」的必要階段,可能比「人工智慧」(人工設計出來的智能)和「認知科學」(理解思維的機理)更早實現。
雷鋒網對其演講全文進行了不改變原意的編輯,呈現如下:
各位大家好!很高興大家關心類腦計算、神經形態計算這樣新的話題。雖然這個課題去年我就講過,但是今年有一些新的進展,而且國家的一些相關的部署,已經開始了。所以我覺得這個講座,還是應當會對後續的科研工作會起到一些支持和推動作用。
類腦計算的概念以及在這個方向和領域下面,需要做一些什麼方面的工作,哪些層次的工作,每個人的理解可能都不完全一樣,但是現在慢慢的還是形成了一定的共識。這次講座,我們邀請了7個講者,今天上午,我先來將我所理解的類腦計算的概念,以及一些國內外的進展。
我採用的是英文題目——Brain-like Computing類腦計算,有的老師喜歡叫Brain-inspired computing,受腦啟發的計算,但是我更願意叫類腦計算。neuromorphic computing這個詞更專業一點,學術一點,然而放在媒體上去介紹,類腦計算更能讓公眾了解。但是它背後也有很多歧義,大家一說類腦,怎麼類腦,馬上有很多各自的理解和解釋。神經形態計算這個詞更為準確一些,我們做的這種新的計算模型、計算範式,實際上是一種神經形態,我一會兒再解釋神經形態。如果是做學術寫論文,我建議你用「神經形態計算」這個詞,會找到一些以前的或者更為準確的文獻。
實際上我覺得所有搞計算機的人 ,心理一定會有一個人工智慧的夢想。計算機可以說是人類有史以來影響最大的發明,這個發明到底能幹什麼?搞計算機的人總會想計算機可以做越來越強的計算邏輯和各種各樣的信息處理能力,是不是能夠代替大腦,超過大腦。當我們把計算機跟腦做比較的時候,一般來說我們會覺得遙不可及。
大家都在媒體上看到過霍金和馬斯克講人工智慧,說如果你發展人工智慧,肯定對人類社會的影響會很大,但是如果出現超級人工智慧的話,我們人類就會遭至滅頂之災。很多人反對霍金和馬斯克,認為超級人工智慧不可能,但是都沒有充分的證據。
大概在2014年前後,我就認為這條路肯定是存在的,所以就應該沿著這條路把這個事實現了。我1月7日在中華讀書報上,發表了一篇源於製造超級大腦的文章。後來2月份的時候,出版了一本書叫《超級智能》。
總的來說,基本上越來越多的人認為超級智能是可能的,這樣的道路是存在的。回到計算機學科,去年是圖靈提出計算機的模型80年,第一台計算機發明70多年,是人工智慧概念提出60多年,是深度學習那一篇Science的paper發表10周年。去年類腦計算或者神經平台計算已經出現了很多標誌性事件,讓我們相信新一代的計算機已經出現了,計算機已經進入了一個新的歷史時期。所以我們今天重點是關於目前已經發生的一些事,大概分五個方面。
第一個是人工智慧,我稱之為人工智慧踏上正途,當然人工智慧做了60年,為什麼說今天終於往正確的方向進行呢?也不是說以前都錯了,只是說以前彎彎曲曲各種各樣的想法,目前逐漸形成了一個比較主流的方向,而這個方向是我們終極性的問題,有可能取得突破。今天我們一說人工智慧,當然大家就想可能是計算機作為一個平台實現人工智慧,這基本上成為一個思維方式。但是事實上我們回頭看今天的計算機,是不是能夠完成這樣一個歷史使命,這個問題是我們首先要思考的問題——靠什麼實現人工智慧或者未來的強人工智慧?
計算機從起源開始,實際上已經決定了我們今天的計算機,不是實現人工智慧的一個合適平台。圖靈當時提計算機,圖靈從來沒有想提出說一台計算機,那時候他為了解決一個數學問題:希爾伯特的23個問題中的第10問題,在數域裡面存不存在不可計算數。為了證明這個問題,要提出一個概念模型,構造一個通用機器,這個通用機器能做所有的數學操作,但是這樣的機器做不到表達剛才說的其中那些不可計算數。我們都是搞計算機,都很清楚圖靈機的概念,但是圖靈機是一個副產品,不是圖靈為了設計計算機而設計的。圖靈在80年代之前已經將計算機的極限說得很清楚了。今天很多人說只要我把程序編的好,演算法設計的好,計算機什麼都能做。你想想,當你回答這個問題的時候,你基於什麼樣的邏輯在說,計算機什麼都能做的?根本不是這樣,肯定是做不到的。
當然我們還要說一個偉大的貢獻,就是香農的貢獻。數學模型是抽象的,無法執行,香農把數學和物理聯繫起來,這樣計算機就能真正造出來了。這個貢獻大家都知道,還是想強調一下:一個數學概念模型,用機器簡單的一個模型可以表達各種各樣複雜的數學問題。他的偉大隻要一個器件就能解決各種衝突,各種邏輯和數學的計算。那是1947、1948年的時候,那個時候還沒有晶體管,物理上總是有開關,燈也是開關,我用多個開關可以組合出我們要的這種計算邏輯功能。就是把問題抽象到一個極致,然後把問題明晰化。
當然還有馮諾伊曼體系結構,這個也是一個歷史性的貢獻——把軟體和硬體分離。計算機的偉大的地方,就是通用的計算邏輯機器,可以做基本的邏輯和運用。但是你要完成任務需要靠程序,要軟體和指令。這樣的話,你買一台機器,裝不同的程序,就可以執行不同的任務。當然為了完成通用性,效率是有損失的,你解決一個問題,專用電路更直接,通用的會有一些符號代價,但是這些代價,使得應用範圍大大擴展,所以這也是一個貢獻。
所以我花時間去說圖靈的模型,香農的電路和馮諾伊曼體系結構這三件事是因為我們設計新一代的計算機,類腦計算,同樣要考慮類似的問題。我們要考慮,數學模型是什麼,用什麼樣的器件去實現,你是什麼樣的體系機構,去實現人工智慧的一些任務,不然計算機不可能實現強人工智慧。計算機發展到今天,第一台計算機出現70年了,背後的邏輯很清楚,數學物理和體力結構,清清楚楚在那個地方。但是不是做智能的合適平台,你看清歷史,才能知道未來怎麼做。
接著我們看一下人工智慧,圖靈是1951年提出機器能思考,這當然是人工智慧問題,只是那個時候,這個詞還沒有造出。1956年,一些圖靈獎獲得者創造了人工智慧這個詞。他們在申請研究經費時寫道:我們有一些想法,就是通過機器模擬,學習以及智能其他課程的方方面面都可以精準描述。到現在為止,這個想法還是很多人對人工智慧理解的一個經典想法。我們怎麼做智能和學習?實際上我們先把它形式化,給它一個精準的描述,就能用計算機去實現。他們認為目前的計算機速度、存儲能力還很慢都不是問題,問題是我們把程序寫出來,這個軟體就能解決智能的問題。我們今天的很多想法仍然是沿用這樣的思路,當然這樣的思路對或者不對,我們要考慮。
過去60年人工智慧發展了很多技術路線,也有很多進步。從最早的符號系統到今天的阿爾法狗,有很多標誌性事件,每一次人們都說人工智慧發展這麼快,是不是馬上能超越人類,後來發現都沒有真正的實現。在歷史發展中,大致來說就是三個流派一直在競爭,第一個符號主義,這是經典人工智慧,總要把它符號化、形式化、精準化,有描述,然後用機器去實現。第二個,就是神經網路,連接主義,實際上背後的思路就是說人的智能是神經網路產生的,我也做一個神經網路,希望它能產生智能,至於產生什麼智能,是訓練和模型的事,首先我們走的技術路線是神經網路,所以這一塊也叫仿生學問或者生理學問。第三個,行為主義,主要是控制論,他們說實際上你想大家無論是我們一個人,或者一個動物,甚至我們生物最早的單細胞的原生生命形態,其實它的智能從哪來的?在於和環境交互過程中產生的。一個小孩生來,沒有什麼能力,但是跟環境交互中,能力會逐漸提高。當然人還要上學,學書本知識,動物是不學這個東西,當是靠交互也可以。
然而,如果不真的從大腦開始,終極性的問題仍然解決不了。這個想法並不新, 1956年的時候就想到了,這些人討論了7個問題:自動計算機、編程語言、神經網路、計算規模理論、自我改進、抽象、隨機性和創造性。目前自動計算機、編程語言、計算規模理論已經弄清楚了,而神經網路、自我改進、抽象、隨機性和創造性等問題還不明晰。他們當時就在考慮,一群神經元如何形成概念,我們今天的深度學習也形不成概念,還有第五個問題,一個智能怎麼能自我提升,現在深度學習靠大數據訓練,一定程度上可以提升的,只要你用數據,我的智能就會產生就會自動提升,但是還沒有自我性和選擇性。未來的計算機,如果還叫計算機的話,要有真正的隨機性,然後才有創造性。原來這個系統不會存在的東西,靠隨機就能出現了。
為什麼後面幾個問題一直發展很有限,背後有兩個原理。一個是因為我們一直在用計算機做智能,在計算機上做神經網路、深度學習,是架構在馮諾依曼體系結構上的神經網路模型。神經網路是沒有什麼中心的,大量的節點進行複雜交互的網路,跟計算機體系不是一回事。二是由於沒有一個針對神經網路的一種體系結構的硬體,晶體管促進了計算機的快速發展,但是沒有合適的神經元器件,沒有物理上做出一個硬的神經網路,又能符合我們希望的模型,沒有類似於香農這樣的人物出現,提供一個物理的橋樑,讓你實現這些想法,數學和神經網路的想法,就不像計算機發展那麼快。
但是我們還是要找這樣一種路徑來實現神經網路。所以神經網路發展這麼多年,有高潮、有低潮,但是總有人比較堅持。1985年Hinton提出boltzman機模型。今天大家用深度學習去說boltzman機說多層網路的時候,好像是一個很新的。從1985年到2006年,沒有人做的時候,我也堅持去做這個,就是報著這樣一種心態,在堅持做神經網路。我是1995年讀博士,1996年選題,那個時候,我們所有11個博士生,就只有一個人做神經網路,這種精神就是首先你邏輯對不對,你要認定是對的,你就堅持做下去,不管別人怎麼看我這個事,為什麼會有這麼一種精神?因為Hinton是布爾的曾孫子,布爾邏輯那個布爾的後代,這些人是有貴族精神的,不會被流俗所影響,我認為這個方向對,我就堅持做,慢慢調吧,有人給錢,我就做,沒人給錢,一個人做,有人給錢,幾個人做。
2006年,Geoffrey Hinton在《Science》發表關於深度神經網路的論文,現在深度學習已經過熱了。2011年,深度學習沒有那麼熱的時候,我在斯坦福的半年訪問,他們就是用layer做圖象識別、語音識別、自然語言處理提升的百分點數,當然都是幾個百分點,沒有超過10%。後來,李飛飛組織的深度學習在比賽中,對圖像識別的能力提高了11個百分點。現在已經變成用更多的數據,更深的網路,調調參數,然後一個結果,這就沒有什麼,從研究的角度沒有什麼太大意義了,但是我們都喜歡干這個事。
Alpha go的實現裡面有很多它新的想法,是一個標誌性的事件,但這還不是強人工智慧,自主智能,但是超出了我們傳統上對人工智慧的一種理解——總要把很多東西進行形式化然後表達。它的突破在把圍棋當成一個圖像去識別,這個跟人去識別的過程是類似的。所以我們講高手就是棋感,棋感從哪來?就是你下的棋數,下的多,看的棋譜多,阿爾法狗看完3000萬盤棋,棋感已經超出人了。你說棋感這種我們通常認為只有人類有的,機器一樣可以有。這種神秘性,我們認為獨有性的東西,逐漸被機器替代。
所以2030年國家的重大科技項目裡面,潘院士提了五大方向:大數據智能、跨媒體智能、群體智能、混合增強智能、自主無人系統。 2030年的時候,計算機達到什麼樣的能力?當時定了一個目標,就是要逼近人腦的信息處理能力,具有自我認知,自主的通用人工智慧。
以上是一些背景,花了不少時間,後來應該是相對好講。
二、製造強人工智慧第二個話題,是製造強人工智慧。強人工智慧又叫通用人工智慧,到現在為止,包括阿法狗在內的,都是弱人工智慧,專用人工智慧。專用人工智慧是指就事論事,要解決某個智能問題。強人工智慧是要達到人類水平,能夠自適應的應對外界環境挑戰的具有自我意識的人工智慧。一旦達到人類水平,就會超過人類水平,所以強人工智慧是我們要應對的一個挑戰,這個挑戰也許是我們人類出現以來,要應對最大的挑戰。
實際上世界上存在超級人工智慧,本來我們人就是,我們本來就是一個強人工智慧,我們的強人工智慧基於我們的大腦,神經系統。到目前現在為止,除了人腦之外,沒有任何一個自然或者人工智慧系統,具有對新環境、新挑戰,能夠自適應,人是最典型的具有強人工智慧的。
既然人可以有,我們怎麼讓機器有?一開始我就說類腦計算這個詞,很容易用不同的角度去理解,比如說Brain-inspired computing,受腦啟發的計算,這個事已經從人工智慧開始,大家都在做,腦給了我們一些模型原理,儘管很有限,但是我們得到了一些認知,認知科學給我們一些啟發,我們可以設計新的演算法,包括疑團演算法,各種各樣的。其實背後或多或少都有認知的應用。但是這樣的一個理解是不能解決我說的強人工智慧問題的,這樣一個思路,把我們引入歧途。
我們剛才說人類大腦有強人工智慧,人類大腦的強智能是怎麼出現的?換一個說法,人的意識是怎麼回事,或者人的思維是怎麼回事,人的意識起源是什麼,意識背後的原理是什麼,就是這樣一個問題。這樣一個問題,是我們人類三大科學問題。人類面對三個最大的科學問題,第一個宇宙的起源,生命的起源,意識的起源,這三大科學問題,是一個很難的問題,要不然就不叫它大問題了。這麼一個大的科學問題,什麼時候能解決,你去問腦科學家,再保守的腦科學家,也不會跟你說在100年之內能解決,一般都會說大概幾百年的時間,也有人說會在1000年的時間,也許永遠解決不了。因為這種大問題,他們沒有找到一個可行的方案,只能是說不斷往這個方向探索而已,所以不能給你一個確定的答案,因為太難了。如果他們不能告訴我們,大腦是怎麼產生我們的意識這種強人工智慧的,我們怎麼辦?
別人沒有給你模型,我們是不是等模型出來再去做?我們多少年來被這麼教育,科學是基礎,技術是基於科學我們才能發展新的技術。所以但是這種思維方式在有些情況是對的,但是大多數情況下是有問題的。比如說飛機和空氣動力學,1903年萊特兄弟就造出了飛機,但是1939年才出現空氣動力學用來解釋飛機為什麼能飛。但是今天的飛機,靠空氣動力學的指導才能做得更好,但是那只是更好。第一架飛機是沒有科學理論做基礎的。回顧一下,我們人類歷史上的技術進步和科學進步,技術進步幾乎可以說都是領先於科學進步的,原創性、顛覆性的。中國四大發明,沒有一個有科學原理的,你說中國沒有科學技術,中國有技術,指南針早就用了,鄭和也不知道地球是圓的,也不知道指南針真的指南,但是我們就做出來了。後來,等到科學逐漸的磁學,這些地球我們知道怎麼回事的時候,我們才理解為什麼指南針能指南。
所以我們做通用人工智慧,強人工智慧,是不是一定要回答——智能是怎麼回事這個問題?大腦到底是怎麼產生的智能,我們是不是一定要回答這個問題,如果回答等幾百年之後,再去做了,那這件事就沒有必要再去討論了。實際上不是這樣的,類腦計算不是Brain-inspired computing,類腦計算是Brain-like。什麼是類腦計算?我們現在並不知道大腦為什麼會產生這麼高級的,創造性的知覺。但是我們知道是什麼樣的物理系統在產生這個功能。這個大腦在物理意義上講是怎麼回事,在物質上是怎麼回事,我們不說精神不說思維智能,我們說神經系統是怎麼回事,是什麼樣的生物系統,什麼樣的神經網路,在發生這樣一個複雜現象。所以這是大腦的解析模擬,大腦能不能解剖開,能不能把大腦的畫出來,我們要搞清楚,我們要看清楚 ,是什麼樣的結構在做,在發生這樣一個行為。所以這件事可以做的,等會兒還會講畫到什麼程度。
第二個,如果我們知道大腦的神經元,神經網路這樣一個結構,產生了高級的功能,我們能不能用電子也做一個。當然我們不用再去複製一個生物的東西,我們可以用神經元、神經網路的功能,連接也一樣,做一個同樣的系統。因為神經元也是一個信號處理,圖譜是信號的加工,這樣的功能我們可以用電子器件做出來,人腦其實也是一樣,你抓住一定程度上的結構相似形,就會出現類似的功能,如果結構的相似性精確到一定程度,複雜性就有可能出現。所以是照葫蘆畫瓢做一個東西,我們不問為什麼。
這樣一個系統,你可以去訓練它,就像今天我們說深度學習沒有一個人不信,深度學習的功能在那,多層網路在那個地方,你用大量的數據訓練它,它就會出現抽象能力,分類識別各種各樣的能力。如果你做了一個大腦神經網路的東西去訓練它,用實時的,用各種各樣的刺激去訓練它,它也應該出現類似的現象。一個複雜網路,會產生更複雜的現象。像簡單的神經網路會產生簡單的現象,複雜網路會產生複雜現象。人類一定是先理解機器智能,最終理解我們自身的智能。因為從可實現上,也應該是這樣。所以你看走了四步,最終實現了理解意識,但是如果按常規的科學為先的思路,上來就現問意識怎麼回事,這四步都不用走,我們就在原地等著就好了,就不會有類腦計算,不會有真正的下一代計算機了。
因為今天大家給我三個小時來講,所以我還可以詳細的去說下。2015年的時候,為了給北京市說清楚,我總結了三句話,他們說明白了,你們做吧。結構層次模仿腦,器件層次逼近腦,智能層次超越腦。結構層次模仿,把大腦的神經網路結構搞清楚,模擬大腦,這就是大腦反向工程。第二個,做出神經形態器件,從尺寸、功能上,逼近生物神經元,這是神經形態工程。智能層次超越腦就像我們今天去訓練一個神經網路一樣,用大數據,用各種的感官,當然可以用虛擬現實和虛擬環境去刺激它,讓它產生複雜的行為,就是剛才說的,類似行為主義的訓練。這三個層次做完之後,這個系統就會擁有高級的複雜功能。大概是這樣一個路徑。
所以我們所謂的類腦計算,類腦計算機,是仿造生物神經網路,採用神經形態器件構造的,以時空信息處理為中心的智能機器。為什麼要強調時空信息處理,因為我們老說複雜環境。圖靈機處理的數據流,實際上是已經拆借的時空信息了,儘管可以做視頻,做視覺,做現在複雜的任務。但是最終時間、空間都拆碎,變成一個一起進行的數據流。一旦時間、空間被破壞之後,很多智能的任務,就很難做了。我們生物視覺、生物聽覺,從來沒有把時間、空間破壞掉,我們眼睛看世界,從來沒有時間、空間最後變成一個一味的流,我們在真正的實施並行在做。這種新的機器,要能直接出來,以這種方式處理信息,這就是以時空信息處理為中心,時空不能破壞,時空不破壞的情況能夠滿足,直接進行處理。
所以這種神經形態計算機,或者類腦計算機,在我們剛才說的不同的,跟經典計算機相比在各個層次都要做一些變化。新的神經形態計算機,它的基本器件是神經元和神經突觸而不是晶體管,這個是神經形態器件,當然是人工的、電子的。第二,經典計算機是人定義的,是馮諾伊曼定義的體系結構。神經計算機是仿生物的神經網路,一個已經具備這種功能的結構,我們把它用電子用晶元的方法,把它實現,對於這樣一個網路,要去管理,就像我們今天的操作系統要去管理硬體的很多功能一樣,比如說網路結構配置,因為硬體一旦做出來,不能隨便變。但是你上面要實現網路的各種各樣,怎麼把任意的一個生物網路模型,映射到這樣一個固定硬體上,網路配置和管理。軟神經網路到硬神經網路的映射是一個基本要求。
所以說到底,這樣一種機器,它放棄了以前我們說做智能,得去問認知科學家,智能是怎麼回事。他可以告訴你一些東西,那些東西真要做到計算機的模型,解決不了問題。就像中醫一樣,可以給你說一些道理來,但是那個道理解決不了什麼問題。所以我是死心了,放棄跟他們再去論證下去,否則人都老了,將來連這個問題都解決不了。
由於是三個小時的演講,內容頗為豐富,此為上篇,後續內容請看下篇《北大計算機系黃鐵軍CCF-ADL講習班下篇:詳解神經形態計算與AI生物視覺前沿》
本次課程為付費課程,2017年8月會在AI慕課學院獨家上線,原價 2500 元(CCF 會員)的線下課程現在限時特價 699 元預售,有興趣的學員戳:http://www.mooc.ai/course/114,或者掃描下圖二維碼觀看。
※大牛入陣,蘋果Swift語言之父Chris Lattner 加盟谷歌大腦
※Snap第二季財報披露,用戶增長和收入下滑
※CSS2017:聚焦新秩序下的安全之道 開放合作共建安全新生態
※工行原行長楊凱生:銀行與科技企業必然相互融合,但不要把Fintech搞成了Funtech
TAG:雷鋒網 |
※計算機工程CE和計算機科學CS有什麼區別?
※HPE將打造全球最強的基於ARM的超級計算機
※CAP@NTU 大規模圖計算系統研究進展
※亞馬遜雲服務AWS推出基於ARM架構的計算服務
※中國腦計劃與眾神計算:AI晶元大航海時代,打造新一代腦模擬計算系統
※美國新公布超級計算機「Astra」,基於ARM處理器打造
※HPE超級計算機與藍色大腦項目
※《計算機》CPU風扇故障
※DA-GAN技術:計算機幫你創造奇妙「新物種」
※DAPRA啟動DBRE項目研發虛擬訓練環境中的高性能計算技術
※IBM:量子計算有助於人工智慧發展
※OCP開放計算項目介紹及OCP領域的工作進展
※HPC高性能計算知識:HPDA新興技術分析
※HPE打造用於可再生能源研究的新超級計算機
※計算機幫助發現製備新型LED
※計算機科學領域神作:《計算機程序設計藝術》
※揭秘IBM打造「超強計算」雄心 朝著量子計算商用邁進
※ESR:計算機語言的巨變
※微軟亞洲研究院CVPR論文DA-GAN,讓計算機創造奇妙「新物種」
※IBM製造出了世界上最小的計算機