體素科技：2018年，演算法驅動下的醫學影像分析進展

機器之心原創,作者：體素科技、邱陸陸.

自 2012 年 AlexNet 挑戰 ImageNet 獲得巨大成功以來，用於圖像領域的深度學習演算法以令人目不暇接的速度飛速演化著。通用圖像領域中，有明確邊界的問題，例如特定類別有標註數據的物體檢測、定位、識別，乃至特定場景的圖像生成、一定精確度內的圖像分割，都出現了令人更新認知的深度學習解答。

目前，站在深度學習研究一線的計算機視覺研究者們，有相當一部分深入到更細分的、與應用場景聯繫更緊密的任務中，同時擴展演算法能夠覆蓋的數據類型。

2018 年，在醫療影像這個分支中，來自加州的人工智慧醫療公司體素科技，結合自身產品線的開發路徑，發表了多篇論文，論文探討了如何利用深度學習演算法臨床決策支持：例如用端到端演算法處理影像中分割問題、 配准問題，以及如何在標註數據有限，且遷移學習困難的情況下，利用代理監督和聯合訓練獲得更好的模型效果。以下為論文介紹：

3D PDV-Net：端到端的器官分割

器官分割是導航（navigation）的核心任務，演算法需要找出正常人器官、病情嚴重的患者器官乃至手術後形態發生顯著變化的器官的位置：這是放療靶區勾畫和病灶量化分析幾乎唯一可依賴的憑據。

現存的肺葉分割方法非常耗時，並需要依賴氣管/血管分割先驗作為初始輸入，且通常還需要與影像科醫生交互才能達到最佳結果。這篇工作提出了一個基於三維漸進密集 V 形深度網路（progressive dense V-network，PDV-NET）的可靠、快速、且完全自動的肺葉分割模型。利用一台 Nvidia Titan XP GPU，PDV-NET 平均 2 秒就可以通過網路的一次前向傳播來完成一次肺葉分割，且完全去除了對先驗和任何用戶介入的依賴。

圖：用於肺葉分割的 PDV-net 模型，分割結果逐漸提高直到得到最終結果。

PDV-net 以 Dense V-net 為基礎網路，結合漸進整體嵌套網路（progressive holistically-nested networks）而成。網路主要由 3 條路徑組成，每條路徑都由密集特徵模塊（dense feature block，dfb）和卷積層構成，位於前面的 dfb 的輸出通過卷積和下採樣後，會成為之後的 dfb 的輸入。換言之，PDV-net 漸進地提取不同層次的圖像特徵，最後以串聯的方式將這些特徵結合在一起，得到最終的分割結果。

圖：真值與 U-net、 dense V-Net (DV-Net)、3D progressive dense V-Net (PDV-Net) 的分割結果的定性比較，可以看出 PDV-Net 的結果沒有其他模型會產生的雜訊。顏色標記：杏仁白：LUL，藍：LLL，黃：RUL，青：RML，粉：RLL。

模型在 Lung Image Database Consortium（LIDC）數據集的 84 張胸腔 CT 和 Lung Tissue Research Consortium（LTRC）的 154 張病態胸腔 CT 上進行了測試。模型輸出的肺葉分割的 Dice score 在 LIDC 上達到了 0.939 ± 0.02，在 LTRC 上達到了 0.950 ± 0.01，此測試結果顯著高於 2D U-net model 和 3D dense V-net 的結果。此外，模型在 LOLA11 challenge 的 55 例上測試並達到了 0.935 的 average Dice score，與最佳參賽隊伍的 0.938 相當。

圖：PDV-net 與 2D U-net 和 3D dense V-net 在 LIDC 和 LTRC 數據集上的分割結果 Dice score 比較。

研究者也對模型進行了魯棒性測試，顯示出我們的模型對於健康與疾病的 CT 例、不同的廠家的 CT 機的輸出、以及同一 CT 機的不同 CT 重構設置產生的不同 CT 例均能夠進行可靠的肺葉分割。

該工作獲得醫學影像頂級會議 MICCAI 2018 深度學習影像分析板塊最佳論文。

基於無監督神經網路的可變形-仿射混合配准框架

配准（registration）是把不同影像按照生理結構對齊達到重合的目的，用於對比不同檢查中的差異。其中，影像的背景部分可以大刀闊斧地調整，通過變形變換（deformation transformation），把病人每次拍照時因為姿勢的不同、壓到的腔體部位不同而導致的無法重合問題通過形狀、大小、角度的變換來進行對準，保證多組照片之間互相可比；而病灶部分只能嚴謹地微調，通過只有六個空間自由度（dof）的剛體變換（rigid transformation）進行旋轉和位移，保證病灶信息不損失。

配准可以被分為可變形配准（deformable registration）和仿射配准（affine registration）兩種。目前，深度學習演算法已經在可變形配准中獲得了應用，相比於比傳統的方法，在速度上有多個數量級的提高。然而，基於深度學習的可變形配准模型通常需要傳統方法所得的仿射配准進行預配准。這和利用深度學習模型達到快速可變形配準的目的相矛盾。此外，現有的深度學習可變形配准模型的訓練必須依賴手動標註的仿射變換真值或者有偏差的仿射變換模擬真值，前者耗費大量時間，後者影響模型的效果。

因此，研究者提出了一個可以利用真實醫療影像進行無監學習的仿射配准模型。在此之上，還提出了一個混合仿射與可變形配準的統一訓練框架。

圖：混合仿射與可變形配準的統一訓練框架。

該方法由仿射配准網路（ARN）與可變形配准網路（DRN）組成。ARN 的輸出是描述 3D 仿射變換的 12 個參數，DRN 的輸出是描述每個體素位移的形變向量場。通過將網路所輸出的仿射和可變形變換作用在有移動的 CT 圖像上並進行線性插值，就可以得到配准後的 CT 圖像。

在模型訓練方面，描述圖像全局相似程度的 Dice score 被直接用作優化的目標；此設計使手工標註或者模擬配准真值過程變得不必要。

圖：（a）固定的與移動後的 CT 對冠狀面（b）ARN 仿射配准結果（c）DRN 可變形配准結果（d）模型輸出的形變場的強度與移動 CT 冠狀面的重合圖。

圖：用肺部重合度表達的配准準確率。ARN+DRN 配准模型較其對應的基準模型在準確率上有顯著提高。

利用代理監督進行預訓練解決標註有限問題

醫療影像和自然影像之間的明顯差異決定了研究者很難利用遷移學習彌補標註數據不足問題：大量用於 CT、MRI 影像的模型是三維的，無法使用 ImageNet 等資料庫進行預訓練，即使是用於病理切片，眼底，皮膚等影像的二維模型，也只是與自然圖像在空間與色彩維度上保持了一致，由於圖像內容相差甚遠，遷移學習的作用也十分有限。而另一方面，醫療影像數據的標註難度遠勝於普通圖像，大規模數據集的建立幾乎是無法完成的任務。

給定這樣的現實情況一些研究者選擇以「代理監督」的方法，利用未標註的醫療圖像輔助深度學習模型。

本文中，作者在胸部 CT、眼底圖像和皮膚圖像上，用旋轉、重建和上色這三種代理監督方法，對 4 個不同任務進行了預訓練。

圖：任務及代理監督方法。

研究顯示：

• 當有標註訓練數據較少時，代理監督模型預訓練效果顯著，當有標註訓練數據增多時，代理監督效果減弱。
• 通過代理監督預訓練的深度模型，比在同一訓練集上參數隨機初始化的深度模型性能更優。
• 在醫療圖像上進行預訓練的模型，比在自然圖像上進行預訓練的模型進行遷移學習後效果更優。這顯示出大量存在的未標註的醫療圖像在模型訓練時還有很多未被開發的價值。

這些研究結論為訓練性能更強的用於醫學圖像分析的深度模型提供了一些可以廣泛應用的準則。

圖：代理監督方法以及目標任務模型示意圖。每格左側的網路為代理任務，右側的網路為目標任務。灰色梯形指代未訓練的參數，黃色梯形指代預訓練後的參數。

據了解，該論文已被 ISBI 2019接收。

多任務聯合檢測網路

傳統的醫療影像識別模型通常採用端對端的分類方式：輸入圖片，輸出判別結果。但是以皮膚病為例，此類方法在具體場景的應用中有很大的局限性。首先，皮膚病的種類繁多，僅書本記載的皮膚病種就多達數千種，因此用一個單一模型來涵蓋所有的皮膚病及其變種是不現實的。其次，皮膚病的表現複雜。不同的疾病可能出現相似的表現；同樣的疾病在不同人身上、不同部位、不同發病時期，都會有不同的表現。第三，皮膚病的診斷判別通常需要對患者病史、體格檢查、實驗室和其他相關檢查的檢查結果等進行綜合分析，僅從圖片很難進行準確的皮膚病判別。

針對這一現象，研究者選擇在病種判別之外，引入皮膚損害作為聯合目標，同時關注病灶級別目標和整體圖像的識別，提高模型的能力。

皮膚損害（簡稱皮損）是皮膚病最重要的體征，是對各種皮膚病進行診斷和鑒別的重要依據。相對於皮膚病來說，皮損類型具有種類相對較少（原發性皮損和繼發性皮損共數十種）、皮損分類明確、泛化程度高等優點。根據皮膚病判別的特殊性，體素科技提出了多任務聯合檢測網路（Multi-task Joint Detection Network）來進行皮膚病的學習。

圖：皮膚病多任務聯合檢測網路結構示意圖。

該網路同樣以圖片作為輸入，但輸出結果包含了皮損類型（Lesion Types）、皮損部位（Lesion Location）、皮損邊框（Lesion Bounding Box）以及綜合以上結果得出的最終皮膚病判別（Skin Conditions)。採用上述網路，研究者將 100 種常見皮膚病的判別分類模型提高了 10%，並且模型預測的結果更加合理。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！