物理學家揭示深度學習原理：神經網路與宇宙本質驚人關聯

1新智元編譯

來源：MIT TR；arXiv.org

譯者：王楠

今天是2016年9月11日

AI WORLD 2016世界人工智慧大會倒計時37天

啟航期5折搶票倒計時8天

【新智元導讀】哈佛大學和 MIT 的物理研究者日前在 arXiv.org 發文，提出深度學習的成功不僅關乎數學，也離不開物理。他們在論文中指出，參數有限的神經網路之所以能夠分析有無數種可能的複雜問題，是因為宇宙中所有事物都能由一組性質簡單的函數表示。此外，宇宙具有層次結構，而神經網路中的層能夠將每一步近似為因果序列。因此，現實世界問題非常適於神經網路建模。這一假說如果正確，不僅揭示了深度學習如此有用的原因，還能說明人類大腦為何擅長分析複雜問題，有助於加速人工智慧發展。進入新智元公眾號，在對話框輸入「0911」下載論文。

點擊播放 GIF/58K

過去幾年，深度學習技術轉變了人工智慧世界。那些一度被視為只有人類才能夠做到的事情，一項一項地被機器斬獲。深度神經網路現在比人類更擅於識別人臉、識別物體，在古老的技藝圍棋上更是把人打得落花流水。

但有一個問題。為什麼層層堆疊起來的網路能夠解決這麼多的複雜問題，還沒有人講得出數學上的道理。儘管深度神經網路取得了巨大的成功，但是沒有人知道它們是如何做到這一點的。

不過，哈佛大學的 Henry Lin 和 MIT 的 Max Tegmark 給出了轉機。他們認為數學家之所以狼狽不堪，是因為事情的關鍵在於世界萬物運作的道理——宇宙的本質。換句話說，答案在物理而非數學裡。

首先，我們假設要將幾兆的灰度圖像分類，判斷該圖像是一隻貓還是一隻狗。

這樣一幅圖片含有幾百萬像素，每一個像素都有 256 個灰度值。因此，從理論上說，一共有 256^1000000 種可能的圖像，每一種都需要計算是否組成了貓或狗。而神經網路只有幾萬或幾百萬的參數，卻不知怎的能夠很輕鬆地完成這項分類的任務。

用數學的語言講，神經網路的工作方式是用較為簡單的函數逼近複雜的函數。當要分類貓或狗的圖像時，神經網路必須實現一個函數，這個函數將一百萬的灰度像素作為輸入，輸出它可能代表的圖案的概率分布。

問題是，數學函數的數量相比用於逼近它們的可能的網路的數量，多了好幾個量級。但儘管如此，深度神經網路仍然能夠得到正確答案。

現在 Lin 和 Tegmark 表示他們已經知道了原因。答案是宇宙由為數不多的一組函數所掌控。換句話說，如果用數學式子表示物理定律，那麼所有事物都能由一組性質簡單的函數所表示。

舉例來說，多項式函數 f(x)=x2，二次方程 y=x2 指數為 2，而 y=x^24，指數為 24，以此類推。

很顯然，指數的數量是有限的，物理定律中也只出現了有限的多項式。「目前還不清楚原因，但是我們的宇宙能被低階的漢密爾頓多項式準確地描述。」Lin 和 Tegmark 說。通常而言，物理定律的多項式，指數都在 2 到 4 之間。

物理定律還有其他的重要性質。舉例來說，與旋轉和位移有關的物理定律通常是對稱的。旋轉一隻貓或一隻狗 360°，這隻貓或狗看起來與原來是一樣的；將一隻貓或狗位移 10 米、100 米或 1000 米，這隻貓或狗跟原來相比，看起來還是一樣的。這一點也為識別貓狗帶來了便利。

這些性質表明，神經網路不需要逼近幾近無限的數學函數，而只需要逼近其中最簡單的一組就可以了。

還有一種性質也為神經網路所用。那就是宇宙結構具有層次。「基本粒子形成原子，原子又形成分子、細胞、器官、行星、太陽系、銀河系等等，」Lin 和 Tegmark 表示。此外，複雜結構也往往是由一系列簡單的步驟生成。

這也是為什麼說神經網路結構具有重要性：這些網路中的層能夠將每一步近似為因果序列。

Lin 和 Tegmark 以宇宙微波背景輻射為例，近年來，有很多不同的空間飛行器都以很高的解析度描繪了這種輻射，而物理學家也為這些圖像為什麼會具有這種形式而感到疑惑不解。

Lin 和 Tegmark 指出，不管原因為何，無疑宇宙微波背景輻射是一個因果層次的結果。「一套宇宙學參數（比如暗物質的密度）決定了我們宇宙密度波動的功率譜，而這又決定了我們接收到的早期宇宙微波背景輻射的模式，這些模式與來自銀河系的前景無線電波干擾相結合，產生一個能被衛星望遠鏡記錄下來的頻率天圖。」他們說。

每一個因果層都比上一層含有更多的信息。雖然宇宙參數是有限的，但是天圖和干擾卻含有幾十億的數字。物理學的目標是分析這些大數字，讓它們揭示出較小一些的數字。

而當現象具有這種層次結構時，神經網路就能大幅提高分析效率。

「我們證明了深度廉價學習（deep and cheap learning）不僅依賴於數學，還取決於物理，物理學中一些常見的極為簡單的概率分布非常適於神經網路建模。」Lin 和 Tegmark 得出這樣的結論。

物理和深度學習的聯繫。來源：Tegmark YouTube 視頻

這是一項十分重要而又十分有趣的研究。人工神經網路受生物神經網路啟發而來，因此 Lin 和 Tegmark 的假說不僅解釋了深度學習為什麼如此有用，還說明了人類大腦理解宇宙的原因。演化不知怎地形成了一種分析宇宙奧妙理想的人腦結構。

這一結果為人工智慧研究打開了一扇門。現在，我們終於明白了深度神經網路為何有用，而且數學家也能著手研究是什麼數學性質讓深度神經網路這麼有用。「加深對深度學習分析理解能力的認知，能夠進一步提升深度學習。」Lin 和 Tegmark 表示。

深度學習近年來取得了飛速發展。有了這一新的理解，該領域的發展速度勢必變得更快。

進入新智元公眾號，在對話框輸入「0911」下載論文。

編譯來源：

The Extraordinary Link Between Deep Neural Networks and the Nature of the Universe

由中國自動化學會和新智元聯合主辦的AI全球年度盛典『AI WORLD 2016世界人工智慧大會』即將盛大開幕。大會官網：http://aiworld2016.com/

TAG:新智元 |

※物理學家王貽芳自述：「學習科學有什麼用？」
※工程領域的人工神經網路和深度學習等方法，是否需要尋求其在神經科學、認知科學和生物學等其他領域的合理性？
※機器學習改變互聯網，物理學家將重新定義矽谷
※擁抱深度學習還是數學的優雅？神經網路對圖像處理、數學和人類的影響
※管理幹部學院黨委召開理論學習中心組專題學習會
※深度神經網路中的對抗樣本與學習
※斯坦福科學家發布用於藥物研究的深度學習演算法
※深度學習和量子物理的共同點，或可用物理學打開深度學習黑箱
※邵學良校長關於人工智慧環境下的「深度學習法」訪談
※一名工程師對於深度學習的理解-神經網路基礎ANN
※共享相關任務表徵，深度神經網路多任務學習綜述
※南理工黨委理論學習中心組舉行集體學習暨黨風廉政教育專題報告會
※中荷學院黨委召開理論中心組專題學習會
※馬德里理工大學學習體驗訪談
※為網路新人而準備——七步理解深度學習
※香港科技大學楊強教授：深度學習如何擁抱遷移學習？
※深度學習黑箱探測難題發展成新學科：人工智慧神經科學
※學習成績好的學理科，學習差的才學文科？
※卷積神經網路與深度學習演算法與應用