震撼！谷歌自動重建了果蠅完整大腦：40萬億像素圖像首度公開！

新智元報道

來源：Google AI

編輯：小芹、金磊、張佳

【新智元導讀】今天，谷歌與霍華德 ? 休斯醫學研究所 (HHMI) 和劍橋大學合作，發布了一項深入研究果蠅大腦的重磅成果 —— 自動重建整個果蠅的大腦。他們使用數千個谷歌雲 TPU，重建的完整果蠅大腦高達 40 萬億像素。有了完整的大腦圖像，科學家距離了解大腦如何工作更近了一步。

你知道嗎？果蠅是公認被人類研究的最徹底的生物之一，截至目前，已有 8 個諾貝爾獎頒發給使用果蠅的研究，這些研究推動了分子生物學、遺傳學和神經科學的發展。

科學家們一直夢想通過繪製完整的大腦神經網路的結構，以了解神經系統是如何工作的。

最近研究的一個主要目標是果蠅的大腦。

果蠅的一個重要優勢是它們的大小：果蠅的大腦相對較小，只有10萬個神經元，相比之下，老鼠的大腦有1億個神經元，人類的大腦有1000億個神經元。

這使得果蠅的大腦更容易作為一個完整的迴路來研究。

今天，谷歌與霍華德?休斯醫學研究所(HHMI)和劍橋大學合作，發布了一項最新深入研究果蠅大腦的研究成果——自動重建整個果蠅的大腦。

果蠅大腦的自動重建

這篇論文題為「利用Flood-Filling網路和局部調整自動重建連續切片成像的果蠅大腦」：

來自谷歌、霍華德?休斯醫學研究所(HHMI)Janelia研究園區以及劍橋大學的一共16位研究人員參與了這個研究，其中，第一作者Peter H. Li是谷歌研究科學家，主要研究方向包括一般科學、機器智能、機器感知。

Peter H. Li

他們還提供了果蠅大腦完整圖像的展示，任何人都可以下載查看、或使用互動式工具在線瀏覽，他們開發了一個3D的交互界面，稱為Neuroglancer。

Neuroglancer的演示

這不是果蠅大腦第一次得到完整繪製，今年1月，Science 雜誌用封面報道，介紹了 MIT 和霍華德·休斯醫學研究所（HHMI）科學家們成功對果蠅的完整大腦進行了成像，並且清晰度達到了納米級。但那次仍是人工的方法，使用了兩種最先進的顯微鏡技術。

幾十年來，神經科學家一直夢想繪製出一幅完整的大腦神經網路的精細地圖，但對於擁有1000億神經網路的人腦，需要處理的數據量之巨大是難以想像的。如果能自動重建果蠅大腦，也許離自動繪製人腦就更近一步了。

這也不是Peter H. Li的團隊第一次試圖用AI方法繪製大腦神經元，他們分別在2016年和2018年在更小的數據集上進行了研究，如下圖右下角所示。

一個40萬億像素的果蠅大腦的3D重建；右下角分別是谷歌AI在2016和2018年分析的較小數據集。

在2018年，谷歌與德國馬克斯普朗克神經生物學研究所合作，開發了一種基於深度學習的系統，可以自動映射大腦的神經元。他們對100萬立方微米斑胸草雀大腦掃描圖像進行了重建。

研究人員稱，由於成像的高解析度，即使只有一立方毫米的腦組織，也可以產生超過 1000TB 的數據。因此，這次重建整個果蠅的大腦，可想數據量有多龐大。

用於處理數據的，是谷歌的Cloud TPU，而且是數千個！

Google AI負責人Jeff Dean也在推特上感嘆道：

TPU真的會飛！GoogleAI的科學家使用TPU來幫助重建了整個果蠅大腦的神經連接！

下面，新智元帶來對這一研究的詳細解讀：

40萬億像素果蠅大腦，自動重建！

在實驗過程中，主要採用的數據集是FAFB，它是「full adult fly brain」（完整成年果蠅大腦）的縮寫(相關數據集信息見文末)。

研究人員在此數據集上，將果蠅的大腦切成了成千上萬個40納米的超薄切片，而後用透射電子顯微鏡對每個切片進行成像，這就產生了超過40萬億像素的大腦圖像。並且將這些2D圖像整合成連貫的3D果蠅大腦圖像。

接下來，研究人員使用了數千個雲TPU，並應用Flood-Filling Network (FFN)，以便自動跟蹤果蠅大腦中的每個神經元。

通過FFN對整個果蠅大腦進行密集分割(dense segmentation)

上圖中的A是3D渲染的FAFB數據集平滑組織掩膜(smoothed tissue mask)。任意冠狀切片（數據集XY平面）顯示了整個內部的FAFB-FFN1分割。B-E展示了增加縮放比例後的效果。

自動神經元重建與手動神經元跟蹤做驗證對比

雖然這個演算法總體運行效果還算不錯，但是當對齊(alignment)不夠完美(連續切片中的圖像內容不穩定)或者偶爾由於在成像過程中丟失了多個連續切片時，性能會有所下降。

為了彌補這個這個問題，研究人員便將FFN與兩個新程序結合起來。

首先，估計出3D圖像中各個區域切片之間的一致性，然後在FFN跟蹤每個神經元的時候局部穩定圖像中的內容。

其次，研究人員使用SECGAN來計算圖像體積(volume)中缺失的切片，而當使用SECGAN時，研究人員發現FFN能夠更可靠地跟蹤多個缺失切片的位置。

局部調整(Local Realignment，LR)

不規則截面的替換

整體FAFB-FFN1的分割pipeline

Segmentation-assisted神經元跟蹤

果蠅大腦與Neuroglancer的交互可視化

當處理包含數萬億像素和形狀複雜的物體的3D圖像時，可視化既重要又困難。受谷歌開發新可視化技術的歷史啟發，研究人員設計了一種可擴展且功能強大的新工具，任何擁有支持WebGL的網頁瀏覽器的人都可以訪問。

結果就是Neuroglancer，一個在github上的開源項目，可以查看petabyte級3D volume，並支持許多高級功能，如任意軸橫截面重構（arbitrary-axis cross-sectional reslicing），多解析度網格，以及通過與Python集成開發自定義分析workflow的強大功能。該工具已被合作者廣泛使用，包括艾倫腦科學研究所、哈佛大學、HHMI、馬克斯普朗克研究所（Max Planck Institute）、MIT、普林斯頓大學等。

未來工作

谷歌表示，HHMI和劍橋大學的合作者已經開始使用這種重建來加速他們對果蠅大腦學習、記憶和感知的研究。然而，由於建立連接組需要識別synapses，因此上述結果還不是真正的connectome。他們正與Janelia Research Campus 的FlyEM團隊密切合作，利用「 FIB-SEM 」技術獲得的圖像，創建一個高度驗證且詳盡的果蠅大腦的connectome。

FAFB：v14排列的完整成年果蠅大腦

可視化鏈接：

https://fafb.catmaid.virtualflybrain.org/

https://bit.ly/2SkiWsP

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！