前沿 | 英特爾新研究發現，人工智慧在量子計算領域實現突破

深度學習和量子物理是兩個看似聯繫很小的領域，但研究者還是找到了它們之間的關聯之處。近日，耶路撒冷希伯來大學的幾位研究者的一篇論文《Quantum Entanglement in Deep Learning Architectures》（深度學習架構的量子糾纏），稱深度學習在模擬量子計算中顯示了非常卓越能力。根據這些研究者的說法，最成功的兩種神經網路類型（卷積神經網路CNN以及遞歸神經網路RNN）都利用了信息冗餘，信息冗餘在模擬量子計算時所涉及的計算中有著重大的影響。

我們仍然不知道為什麼神經網路的深度學習可以在許多研究里取得巨大成功，這門學科缺乏一定的理論，經驗上的成功不能得到理論上的解釋。卷積神經網路之父Yann LeCun曾說過（https://youtu.be/gG5NCkMerHU），深度學習有點像蒸汽機，熱力學基礎理論的出現晚過蒸汽機許多年。

然而多年來，一些深度學習研究者在理論問題上一直停步不前。

上周，在美國國家科學院主辦的華盛頓特區深度學習會議上，英特爾高級副總裁兼Mobileye主管Amnon Shashua公布了與希伯來大學同事共同完成的一項新研究，該研究既為深度學習能力提供了重要證據，也為計算量子物理中一些常見的棘手問題提供了一條前進的道路。（英特爾去年以 141 億美元收購了自動駕駛技術公司Mobileye。）

該研究文章題為《Quantum Entanglement in Deep Learning Architectures》（深度學習架構的量子糾纏），上周發表在著名期刊《物理評論快報》（Physical Review Letters）上。「Shashua另一重身份是耶路撒冷希伯來大學計算機科學教授，此項研究文章由Shashua、耶路撒冷希伯來大學計算機科學與工程學院博士生Yoav Levine（主要作者）、耶路撒冷希伯來大學計算機科學博士生Or Sharir、以及新澤西州普林斯頓高等研究院的Nadav Cohen合著完成。 」

文章從理論上證明了深度學習擅長解決某些問題，同時還提出了促進量子計算領域廣泛發展的方法。

圖/Mobileye：Shashua及其同事的團隊建造了 「CAC（convolutional arithmetic circuit）」（「卷積算術電路」），CAC可複製傳統CNN里的信息重複使用，同時使它與物理學中常用的「張量網路」模型一起工作。

在量子計算領域，「理論與實踐問題」某種程度上與深度學習相反：量子計算存在很多引人注目的理論，但迄今為止，真正的例子還很少。多年來，Shashua和他的同事，以及其他研究人員，一直在思考如何模擬量子計算的所謂的「多體問題（Many-Body Problem）」。

物理學家 Richard Mattuck 曾在《A Guide to Feynman Diagrams in the Many-Body Problem》一書中將多體問題定義為「多體系統里實體之間交互效應的研究」，多體指涉及到電子、原子、分子及各種其他實體。

Shashua及其團隊發現並證實：卷積神經網路和遞歸神經網路優於諸如「受限玻爾茲曼機」的傳統機器學習方法。受限玻爾茲曼機是 20 世紀 80 年代開發的神經網路方法，一直是物理研究的主流，特別在量子理論模擬領域。

論文作者提出，「以深度卷積及循環網路形式的深度學習架構，可以有效地表達高度糾纏的量子系統。」

這裡所說的「糾纏」是指量子系統里物體相互作用時的相互關係。實際量子計算在計算糾纏時有著巨大優勢，能夠達到極高的效率。而通過傳統的電子計算模擬的方法計算糾纏則可能非常困難，甚至難以著手。

「我們的工作量化了深度學習對於高度糾纏波函數表示的能力，」論文里寫道，「這將促進理論上多體物理學研究向尖端深度學習體系結構的轉移。」

圖/Mobileye：研究人員通過修改遞歸神經網路，將數據重用添加到「遞歸運算電路」（RAC）里。

研究者利用卷積神經網路和遞歸神經網路，並將其應用到他們設計的「擴展」中來研究這個問題。他們將此稱為「簡單的『技巧』」，這種做法涉及上文提到的冗餘。據文章里介紹，事實證明，卷積神經網路和遞歸神經網路結構的本質涉及到信息 「重用」。

對於卷積神經網路，卷積「內核」的滑動窗口覆蓋了整個圖像，每個時刻都有重疊，因此圖像的某些部分會被卷積神經網路多次接收使用；對於遞歸神經網路，每一層網路的信息的重複使用也是一種類似的重用，是對序列順序數據點的重用。

在卷積神經網路和遞歸神經網路這兩種情況下，「這種架構的特徵是表達網路的能力呈指數級增長，儘管參數數量和計算成本方面僅呈線性增長」 。換句話說，由於冗餘的優越性，用堆疊多層的方法實現的卷積神經網路和遞歸神經網路，在計算術語中對事物有更有效的「表達功能」。

例如，傳統的「全連接」神經網路(作者稱之為「經驗豐富的」神經網路)需要計算的時間是所表示的物體數量的平方。文章寫道，RBM（受限玻爾茲曼機）需要的計算時間少些，它的計算時間與物體的數量成線性關係。而卷積神經網路和遞歸神經網路需要的計算時間甚至可以更好，它們所需的計算時間按比例縮放為物體數量的平方根。

文章寫道，「相對於基於傳統完全連接神經網路的方法」，這些屬性「表明，深度卷積網路在數量糾纏建模方面具有顯著優勢。實際上，重疊卷積網路...可以支持任何 2D 系統的糾纏，2D系統的最大規模可達100×100，這是其他方法所無法實現的。」

為了做到這一點，這些研究者們不得不使用他們提到的「技巧」，但傳統表示量子計算的「張量網路」不支持信息重用。因此，這些研究者們創建了卷積神經網路和遞歸神經網路的改進版。第一個卷積神經網路和遞歸神經網路改進版名為「卷積運算電路」（CAC）——這是他們近年來在工作中發展起來的一種方法，在這裡取得了更大的成果。「技巧」在於，在CAC里「輸入數據本身的副本」，這有效地複製了卷積神經網路重疊部分的重用。文章作者還創建了對應遞歸神經網路的「遞歸運算電路」（RAC）， 遞歸運算電路用的則是複製輸入信息。

文章寫道，「由於深度RAC每一層的輸出向量在每個時間步都被使用了兩次（作為下一層的輸入，也作為下一個時間步的隱藏向量），數據重用在網路計算過程中是內在的。因此，我們在重疊-卷積網路里複製了輸入，從而獲得了基於深度RAC的張量網路。」

所有這些的結果都具有雙重意義：深度學習的證明以及量子模擬的發展方向。

補充材料里對CACs和RACs效率的形式化證明，相當於證明了深度學習方法可以更有效地處理量子糾纏。

作者最後滿懷希望地指出，希望他們的發現「有助於將量子多體物理學和最先進的機器學習方法更緊密地結合在一起」。

量子計算和深度學習的理論研究可能再也不會和過去一個樣了。

【註：英特爾、耶路撒冷希伯來大學方面關於「人工智慧和量子計算」研究文章《Quantum Entanglement in Deep Learning Architectures》（深度學習架構的量子糾纏）獲取方式：關注科技行者微信公眾號（ID：itechwalker），回復關鍵字「量子計算」即可。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！