Google 研發的 AR 顯微鏡，幫醫生快速找到癌症跡象

GIF

比起此前的 AI 診斷技術，Google 的新工具讓醫生得以專註於眼前的視界。

病理檢查是癌症診斷的重要標準，醫生通過在顯微鏡下觀察病變組織、細胞，以出具診斷報告。為了提高診斷效率，Google 在顯微鏡上增加了 AI 和 AR 組件，讓診斷過程更為智能。

昨日 Google 的研究人員在美國癌症研究協會年會（ACCR）上發布報告，以正在評審的論文《一種實時自動檢測癌症的增強現實顯微鏡》，描述了這種增強現實顯微鏡的原型，改進的顯微鏡能從目鏡中直接讀取診斷結果。

以往的診斷過程中，病理學家對病變組織的分析可能相當耗時。此前也已有多家團隊的研究表明，深度學習在眼科、皮膚科、放射科和病理學等學科的診斷上效果顯著。Google 也正嘗試利用 AI 技術提升癌症診斷效率，也已發表研究證明神經網路對淋巴結中乳腺癌轉移的檢測與醫務人員準確率相當。

除了輔助病變組織的分析，這個顯微鏡的主要創新之處在於，改進了診斷結果獲取的效率。此前的研究中，醫生在顯微鏡下觀察切片，在計算機上讀取結論，需要在不同設備間來回切換。Google 的新工具通過給顯微鏡增設 AR 功能，將診斷結果疊加在切片上，讓醫生能夠在視場中實時讀取結論。

左圖：顯微鏡示意圖。 數碼相機捕獲與用戶相同的視場，並將圖像傳送到運行 AI 的計算機，結果會投影到目鏡上的 AR 顯示屏中，切片上就能實時顯示相關標註了。 右圖：臨床光學顯微鏡改裝得到的顯微鏡原型。

Google 的工具由普通的光學顯微鏡改進得來，經簡單改裝引入 AI 和 AR 組件，因此可以節約成本，利於在小型實驗室和診所，或發展中國家中應用。

工具的原理也很簡單。人工智慧的部分同之前的研究如出一轍，訓練神經網路檢測癌細胞。之後在改進顯微鏡下放置組織切片，鏡頭捕捉圖像輸入計算機，讓 AI 檢測組織中的癌細胞，並將虛擬標記投影到目鏡中的 AR 顯示屏，以便醫生觀察診斷。這個流程能夠實時完成，目前能以每秒 10 幀的速度運行。切片也可以按需隨時移動或縮放，計算結果可以無縫更新。

不同放大倍率的乳腺癌在淋巴結的轉移。綠色框內為腫瘤組織。

團隊配置了乳腺癌和前列腺癌兩種癌症的檢測演算法，並用綠色輪廓標記出檢測到的腫瘤區域。團隊稱，基於其它訓練模型，這個工具還可用於其他癌症以及結核病和瘧疾等傳染病的檢測，以及顯示更多所需的數據，還能應用於醫學、生命科學和材料科學等學科。相關評估需要更深入的研究。

題圖及文中圖片來自 Google Research Blog

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！