驚喜！神經元比我們想像的複雜的多

AiTechYun

編輯：nanan

深度學習或人工神經網路(ANN)能夠模擬生物神經元的觀點，是個很大的誤解。ANN充其量能模仿一個1957年的單個神經元模型的卡通版本。任何聲稱深度學習的人都是出於營銷目的，或者從來沒有讀過生物文獻。深度學習中的神經元本質上是數學函數，它對內部權重的輸入執行相似函數。匹配越接近，執行動作的可能性就越大(即不向零發送信號)。這個模型也有例外，但它包含感知器、卷積網路和RNN。

Numenta公司的Jeff Hawkins一直抱怨說，需要一種更加生物化的方法。因此，他在構建認知機器的研究中，構建了一個更加貼近新皮層結構的體系。Numenta的神經元模型比神經元的深度學習模型要複雜得多，如圖所示：

Numenta的團隊正押注於這種方法，希望能創造出比深度學習更有能力的東西。目前還沒有證據可以證明這是成功的。他們已經做了這麼長時間，以至於他們中的一些人成功地減少了加班時間。相比之下，深度學習(儘管它是一個卡通神經元的模型)在執行各種令人難以置信的認知能力方面表現得出人意料的有效。深度學習正在做一些非常正確的事情，我們只是不知道那到底是什麼!

不幸的是，我們不得不在所有的研究中加入新的扳手。關於神經元性質的新實驗表明，生物神經元比我們想像中的更複雜:

（1）單個神經元的峰值波形通常隨刺激部位的函數而變化；

（2）不同方向的細胞外刺激缺乏空間求和；

（3）結合細胞內和細胞外刺激以及非局部時間干擾（刺激的精確時間是不相關的），不能實現空間求和和相減。

簡而言之，在單個神經元內發生的事情要比簡單的整合和刺激的想法多得多。神經元不是純粹的功能，而是具有我們尚未理解的行為的狀態機器。

如果你認為這會給我們的理解帶來麻煩，那麼有一個更新的發現揭示了更大的複雜性:

許多由神經元釋放的細胞外囊泡含有稱為弧的基因，這有助於神經元彼此建立連接。被設計為缺乏Arc的小鼠具有形成長期記憶的問題，並且一些人類神經障礙與該基因相關聯。

這項研究揭示了神經元之間通過發送RNA編碼來相互交流的機制。這些是指令包，而不是數據包。發送代碼和發送數據之間有著深刻的區別。這意味著一個神經元的行為可以改變另一個神經元的行為;不是通過觀察，而是通過注入行為。

所以在現實中，即使是在我們認知的最小單位中，也有一種對話是在個體神經元之間進行的，它們改變了彼此的行為。因此，神經元不僅具有狀態，而且神經元也是具有指令集和發送代碼的機器。很抱歉，這只是另一個層次的複雜性。

現在是時候回到繪圖板，開始探索更複雜的神經元了。我們迄今為止看到的更複雜的類型是來自LSTM派生的類型。這是對LSTM-like神經元進行強力建築搜索的結果：

現在還不清楚為什麼這些更複雜的LSTM更有效。只有架構搜索演算法知道，但它不能解釋自己。

與標準的LSTM相比，它顯示出可衡量的改進:

綜上所述，一個探索更複雜的神經元種類的研究計劃可能會帶來有希望的結果。這與研究在神經網路中使用複雜值的研究沒有什麼不同。在這些複雜且有價值的網路中，只有在RNN網路上才會注意到性能改進。這表明，這些內部神經元的複雜性可能是超越簡單感知的能力所必需的。我懷疑這些複雜性對於高級認知來說是必要的，它們似乎可以逃避當前的深度學習系統。這些包括對抗功能的強健性，學習忘記，學習什麼要忽略，學習抽象和認識上下文切換。

我預計在不久的將來，我們將在這一領域看到更積極的研究。畢竟，大自然已經明確地告訴我們，神經元的個體是更複雜的，因此我們自己的神經元模型也可能需要更複雜。也許我們需要像Grassmann代數那樣複雜的東西來取得進展。

RGF是另一種樹集成技術，它類似梯度下降演算法，可用於有效建模非線性關係。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！