【AI造夢】哈佛大學用GAN+遺傳演算法，創造圖像控制猴子大腦

來源：Cell、harvard news

編輯：肖琴

【導讀】哈佛大學的科學家們把猴子的大腦與神經網路連接起來，試圖刺激猴子大腦中負責識別面部的單個神經元。他們利用AI生成圖像，然後向猴子展示這些圖像，最終成功地激活特定的神經元，而不影響其他神經元。相關論文發表在最新的Cell期刊上。

該研究引起熱議，被認為是使用人工神經網路來理解真實神經網路的最強有力的驗證。

無獨有偶，在一項新實驗中，哈佛大學的科學家們把猴子的大腦與神經網路連接起來，試圖刺激猴子大腦中負責識別面部的單個神經元。他們利用 AI 生成圖像，然後向猴子展示這些圖像，試圖儘可能地激活這些特定的神經元。

最終，AI 系統學會了生成能夠激活單個腦細胞、而不會同時激活它的相鄰細胞的圖像。這些圖像像是超現實的噩夢中的景象一般，模模糊糊的又與臉孔或其他熟悉的形狀相似 —— 這是感測器和人工智慧開始窺視生物大腦的又一個令人興奮的例子。

一張由神經網路進化而來、刺激獼猴神經元的圖像

相關研究發表在最新的 Cell 期刊上。

研究者提出的演算法名為 XDREAM，可以根據特定神經元對圖像的反應強度的實時反饋來生成新圖像。

論文的第一作者、哈佛大學和華盛頓大學神經科學家 Carlos Ponce 說：「如果細胞會做夢，那麼 (這些圖像) 就是細胞夢見的景象。」

該研究的幾個要點：

• 在神經元放電的引導下，深度神經網路和遺傳演算法進化生成圖像
• 演進的圖像使獼猴視覺皮層的神經元放電最大化
• 演進的圖像比大量的自然圖像更能激活神經元
• 與演進圖像的相似性可以預測神經元對新圖像的反應

研究概覽

具體來說，研究人員利用 AI 生成圖像並展示給猴子，然後研究猴子的神經元對圖像的反應。然後，AI 演算法可以根據大腦反應的信息來調整圖像，生成可能與猴子的視覺處理系統產生更多共鳴的新圖像。

Ponce 說：「當我們第一次看到這種情況時，感覺就好像我們是在用一種神經元自己的語言與它進行交流，就好像我們賦予了細胞一種交流的能力。」

實驗過程：GAN+遺傳演算法，窺探猴子的夢境

為什麼我們的眼睛更容易被某些形狀、顏色和輪廓所吸引呢？

半個多世紀以來，科學家們已經了解到，大腦視覺系統中的神經元對某些圖像的反應會比對其他圖像的反應更強烈 —— 這一特徵對於我們識別、理解和解釋周圍大量視覺信息的能力至關重要。

例如，當人類或其他靈長類動物 —— 具有高度協調性和視覺系統的動物 —— 在看到面孔、地點、物體或文字時，大腦中被稱為下顳葉皮層的特定視覺神經元群會更活躍。但這些神經元究竟是對什麼做出了反應，至今仍不清楚。

迄今為止，絕大多數試圖測試神經元偏好的實驗都使用了真實的圖像。但真實的圖像帶有固有的偏見：僅限於現實世界中可用的刺激以及研究人員選擇測試的圖像。基於 AI 的程序可以根據每個神經元的偏好來創建合成圖像，從而克服了這個障礙。

在這個研究中，來自哈佛大學醫學院的幾位研究人員，使用預訓練的深度生成神經網路 (Dosovitskiy and Brox, 2016) 和遺傳演算法，實現了讓神經元反應來知道合成圖像的進化。

深度生成對抗網路通過遺傳演算法表達和搜索

為了記錄視覺神經元的活動，研究團隊將微電極陣列植入六隻猴子的下顳葉皮質 (耳朵上方稍微靠後的區域)。然後，研究人員通過電腦屏幕向猴子展示圖像，並測量猴子在觀看圖像時大腦中單個視覺神經元的放電率。

如下圖所示，網路以 4096 維的向量 (圖像代碼) 作為輸入，然後將其轉換為 256×256 的 RGB 圖像。

圖 1：通過神經元引導的進化合成首選的刺激特定神經元的圖像

（A）生成對抗網路。

（B）初始的合成圖像，這裡顯示了 30 個示例。

（C）行為任務。

（D）實驗流程。圖像代碼通過深度生成對抗網路傳遞，以合成呈現給猴子看的圖像。使用神經元反應對圖像代碼進行排序，然後對其進行選擇，重組和變異，以生成新的圖像代碼。

具體來說，遺傳演算法使用從獼猴大腦中記錄到的神經元響應來優化輸入到神經網路的圖像代碼。每個實驗從 GAN 隨機產生的 40 個圖像（圖 1B ）開始。

然後記錄猴子在被動執行固定任務時 IT 神經元的反應。圖 1C 顯示了一個單元的感受野。

然後根據神經元對每個合成圖像的反應對圖像編碼進行評分，確定 10 張在給定神經元或神經元群中最活躍的圖像。研究人員將這些圖像通過一種遺傳演算法 —— 本質上是重新組合這些像素 —— 生成 30 張類似的圖像，然後將這些圖像連同最初的前 10 張圖像一起展示給猴子（圖 1D） 。

研究人員將整個方法稱為XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)。

這個過程在 1-3 小時內重複多達 250 代。

作為對照，研究人員還向猴子展示了包含人物、地點等的自然圖像和簡單的線條圖。

進化的圖像(左)和自然圖像(右)

在幾個小時的過程中，研究人員將每張 AI 生成的圖像向猴子展示 100 毫秒。

這些圖像從灰度隨機紋理圖案開始，根據實驗中猴子神經元的激活程度，程序逐漸引入形狀和顏色，直到形成最終的充分體現神經元偏好的圖像。

「每次實驗結束時，」 參與該研究的哈佛醫學院研究生 Will Xiao 說：「程序會生成對這些細胞產生超級刺激的圖像。」

神經元選擇的怪異圖像，有助於理解認知問題

CaffeNet 中單元首選刺激的演變

研究人員首先在人工神經網路中的單元上驗證 XDREAM ，作為生物神經元的模型。他們的方法為 CaffeNet 的各層單元產生了超級刺激（圖 2）。

圖 2：XDREAM 演算法為 CaffeNet 中的單元生成超級刺激

一種生物神經元的偏好刺激的演變

隨著遺傳演算法根據神經元的響應優化圖像，合成圖像會隨著每一代的進化而改變。下圖是進化實驗的一個例子。

圖 3：一個猴子選擇的合成圖像演化

每個圖像都是每代的前 5 個合成圖像的平均值（從左到右，從上到下排序），幾代之後，合成圖像進化成更有效的刺激 (圖 4)。

圖 4：通過最大化單個神經元的響應來合成圖像的演變

視頻：猴子神經元的選擇導致合成圖像演化的兩個示例，每個演化實時都需要幾個小時

其他神經元中優選刺激的演變

圖 5：其他 IT 細胞的演化

圖 6：其他 IT 神經元中合成圖像的演化

其中一些圖片符合研究人員的預期。例如，他們懷疑神經元可能會對面孔做出反應，一個神經元進化生成圓形的粉紅色圖像，上面有兩個類似眼睛的大黑點。

其他的則更令人驚訝。例如，其中一隻猴子的神經元不斷地生成看起來像猴子身體的圖像，但在它的脖子附近有一個紅色斑點。研究人員最終發現，這隻猴子被關在另一隻總是戴著紅項圈的猴子旁邊。

Ponce 說：「從霧中看到一個像臉一樣的東西在盯著你看，而你知道這張照片是來自猴子的大腦時，這可能是我的科學生涯里的最神奇的經歷之一。」

研究人員說：「我們認為這個神經元不僅對猴子的身體有優先反應，而且對特定的猴子也有優先反應。」

但並不是每一張最終的突破看起來都可以辨認。一隻猴子的神經元進化產生一個黑色的小方塊。另一隻則產生無確定形狀的黑色和橙色的混合體。

這些研究表明，這些神經元的反應並不是天生的，而是通過長期持續地接觸視覺刺激來學習的。但目前還不知道這種識別特定圖像的能力是如何出現的。研究團隊計劃在未來的研究中調查這個問題。

了解視覺系統如何對圖像產生反應可能是更好地理解驅動認知問題的基本機制的關鍵，這些認知問題涉及學習障礙、自閉症譜系障礙等，通常以兒童處理面部線索和識別面孔的能力受損為特徵。

研究人員表示，大腦視覺處理系統的故障會干擾人們連接、溝通和理解基本線索的能力，通過研究那些對面孔做出優先反應的細胞，我們可以發現社會發展如何發生的線索，以及有可能出現的問題。

參考鏈接：

https://www.cell.com/cell/fulltext/S0092-8674(19)30391-5

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！