新演算法將幫助超級計算機模擬全腦神經連接!
近年來AI已迎來了巨大的飛躍。我們看到這項技術應用於自動駕駛汽車、協作式機器人和多用途深度學習系統(這種系統可以獨自玩轉各種各樣的棋盤遊戲,藉助地鐵地圖推斷路線或藉助家譜圖推斷關係)。然而,在AI從功能相對專門化變成能夠像人類一樣輕鬆處理眾多任務之前,還有一段路要走。
向開發這種強人工智慧邁出的一步是在計算機上模擬人類大腦如何運轉,以便研究人員能更深入地了解智能背後的內在機理。可問題是,人類大腦異常複雜,即使藉助今天的大型超級計算機的強大功能,還是不可能模擬人腦1000億個神經元與數萬億個突觸之間的所有相互關係。
但現在這個目標更接近了一步,這要感謝一群國際研究人員,他們現在已開發出了一種演算法,該演算法不僅加快了現有超級計算機上的人腦模擬,還向未來的百億億次運算超級計算機(每秒能執行上百億億次運算的計算機)上實現「全腦」模擬邁出了一大步。
全腦模擬所需的計算
這項研究成果發表在《神經信息學前沿》(Frontiers in Neuroinformatics)雜誌(https://www.frontiersin.org/articles/10.3389/fninf.2018.00002/full?utm_source=G-BLO&utm_medium=WEXT&utm_campaign=ECO_FNINF_20180302_exascale-brain)上,概述了研究人員如何在超級計算機機上構建一個神經網路的新方法。想了解這項任務有多艱巨,僅舉一例來說明:現有的超級計算機(比如日本神戶計算科學高級研究所的千萬億次運算K計算機)也只能複製大腦中10%部位的活動。
那是由於它受制於構建模擬模型的方式,這影響了超級計算機的節點之間如何通信。超級計算機可能有超過十萬個這樣的節點,每個節點都有自己的處理器來執行運算。在更龐大的模擬中,這些虛擬神經元分布在計算節點之間,以便高效地均衡處理工作負載,然而這些更龐大模擬面臨的挑戰之一是神經網路的高連通性,這需要大量的計算能力來複制。
斯德哥爾摩瑞典皇家理工學院的蘇姍娜?孔克爾(Susanne Kunkel)是論文作者之一,她說:「在神經網路模擬能夠進行之前,需要以虛擬方式構建神經元及其連接,這意味著它們需要在節點的內存中創建實例。在模擬過程中,神經元不知道目標神經元在哪些節點上,因此神經元的短電脈衝需要發送給所有節點。然後,每個節點檢查所有這些電脈衝中哪些對該節點上存在的虛擬神經元來說很重要。」
用更簡單更形象的話來說,這比給每個節點發送整堆草垛,那樣每個節點都需要從這堆草垛中找到對它來說很重要的那些針。不用說,這個過程消耗大量內存,虛擬神經元網路的規模增大時更是如此。想要使用現有技術來擴大規模,並模擬整個人腦,就需要比當今超級計算機多出100倍的處理內存。然而,新演算法改變了遊戲規則,因為它可以優化這個過程,為此它讓節點可以先交換哪些節點發送、哪些節點接收方面的信息,那樣以後每個節點只需要發送和接收它所需要的信息,沒必要翻遍整堆草垛。
論文作者、於利希研究中心的雅各布?喬丹(JakobJordan)說:「有了這項新技術,我們可以比以前更好地充分利用現代微處理器的並行機制,這在百億億次運算計算機中將變得極為重要。」
研究團隊發現,藉助這種經過改進的演算法,一個由5.8萬億個突觸連接的5.2億個神經元組成的虛擬網路在於利希研究中心的超級計算機JUQUEEN上運行,能夠在5.2分鐘的運算時間模擬1秒鐘的生物時間,而以前使用傳統方法需要28.5分鐘的運算時間。
據預測,將來能夠執行百億億次運算的機器將比當前超級計算機的性能高出10倍到100倍。藉助該團隊開發的演算法(將作為一種開源工具來提供),這將意味著更能夠探究智能在整體上的機理。
論文作者、於利希神經科學與醫學研究所的馬庫斯?迪斯曼(Markus Diesmann)特別指出,毫無疑問,基於這項工具的未來研究成果不僅有助於進一步推進AI發展,還將惠及眾多科學學科。「結合百億億次硬體和適當的軟體可以讓我們得以研究大腦機理的基本方面,比如可塑性和學習過程。」
※AI 算力需求 6 年增長30萬倍、3.5 月翻一番——OpenAI 數據分析
※Facebook最大規模高層重組:分成三大部門,增設區塊鏈技術部門
TAG:雲頭條 |