論文閱讀！kaggle比賽第一名-肺癌自動診斷系統

簡介

根據CT圖像的肺癌自動診斷系統包含以下步驟：

檢測所有可疑病變；

評估整個肺部的惡性程度。

但目前大多數的研究主要集中於第一步，以及通過肺結節診斷肺癌存在較高的假陽性率。因此，肺癌的診斷需要對每個可疑結節進行細緻分析，再聯合所有結節信息進行定性診斷。針對上述問題，本文提出了一個三維深度神經網路（3D deep neural network）用於解決這些問題。該網路由兩部分組成：

用於結節檢測的3D region proposal network；

基於置信檢測（the detection confidence）選出top-5結節並評估其癌症可能性，最後將此概率與Leaky noisy-or模型相結合評估患者患癌的可能性。

其中，上述兩個模型均採用修改後的U-net模型，並使用數據增強操作避免過擬合問題。

數據集和預處理

數據集

訓練集由LUNA16數據集（the Lung Nodule Analysis 2016）和NDSB3（Data Science Bowl 2017）數據集兩部分組成。其中，LUNA16數據集含有888個病例，標記了1186個肺結節；在NDSB3數據集中，1397個病例用於訓練，198個病例用於驗證，506個病例用於測試，且人工標註了訓練集中754個結節和驗證集中78個結節。

對於LUNA16數據集，其存在許多較小的注釋結節，且臨床經驗認為直徑6mm以下的肺結節無危險。但在NDSB3數據集中，存在較多的大直徑結節且結節多與主支氣管相連。因此，針對兩個數據集的差異，需去除LUNA16數據集中直徑6mm的結節，同時對NDSB3數據集進行人工標註。

此處說明了Julian de Wit的解決方案中，直接設置結節直徑為6mm的原因，以及為何需對NDSB3數據集進行人工標註。

上圖為結節分布情況圖。其中，圖a為DSB（NDSB3）與LUNA（LUNA16）數據集中結節直徑分布情況；圖b為DSB數據集中患癌患者與健康人群的最大結節直徑分布情況。

預處理

首先將所有的原始數據轉變為HU值，如下圖a所示，再進行如下步驟：

掩膜提取：在2D切片上，首先使用標準差為1的高斯濾波和閾值為-600的處理得到肺部以及周圍較暗部分的掩膜，如上圖b所示，然後進行連通性分析去除小於30mm2的connected component和離心率大於0.99的部分（some high-luminance radial imaging noise），再計算得到二值的3D矩陣中所有的3D connected component，且僅保留非邊緣部分（用於去除肺部周圍較暗的部分）以及體積在0.68~7.5L之間的部分，結果如上圖c所示；

凸包與擴張：若結節與肺的外壁相連，則其將不會出現在上述提取的掩膜中。因此，對於這種情況，首先將肺部分為左右兩個部分，即左肺與右肺，如上圖d所示。然後分別對左右肺進行凸包處理，並向外擴張10像素，如上圖f所示。但對於一些2D切片而言，肺部的底部類似與月牙形，如下圖所示。若對於該類型進行凸包處理後，面積大於初始的1.5倍，則放棄凸包，從而避免引入過多的其他組織；

灰度標準化：將HU值（[-1200, 600]）線性變換至0~255內的灰度值，且掩膜以外的像素灰度值均設為170，以及擴張區域內的像素灰度值高於210則也設為170。

用於結節檢測的3D卷積神經網路

該網路是基於U-net的3D版RPN（Region Proposal Network）模型。

輸入數據

受限於顯存，輸入數據大小為128×128×128×1（Height×Length×Width×Channel），並隨機選擇兩種patch：一種為70%的輸入數據至少包含一個結節；另一種為30%的輸入數據不含結節。其中，patch超出圖像部分用灰度值為170填充。

為了避免過擬合問題，數據採用數據增強方法。

從輸入數據大小可看出，本文作者採用的顯卡為專業卡，其顯存大。鑒於此，可根據實際情況將輸入數據大小調整為64或者32。

網路結構

網路由前饋路徑和反饋路徑組成，如下圖圖a所示。

前饋路徑

以兩層卷積核為2×2×2的卷積（channel為24）開始，且padding為1；其後為4個殘差塊，其中每個殘差塊由3個殘差單元組成（如上圖圖b所示），而每個殘差單元由卷積、Batch Norm、ReLU激活函數、卷積和Batch Norm組成，且卷積核大小均為3×3×3。除此之外，每個殘差塊均有一個最大池化層，大小為2×2×2，步長為2。

反饋路徑

反饋路徑由兩層反卷積（裝置卷積）層和兩個融合單元構成。最後，由卷積核均為1×1×1且channel為64和15的兩層卷積層將數據大小轉換為32×32×32×15。

反卷積層

卷積核大小為2，步長為2。

注意該部分的代碼實現部分，原始U-net網路設置為不可學習。

融合單元

每個融合單元（如上圖圖c所示）均由一個前饋blob和反饋blob組成，其結果作為殘差塊的輸入。

值得注意的一點，本文作者在此處引入了位置信息，作為額外的輸入數據。

位置信息

proposal的位置信息可能影響是否為結節和是否為惡性的判斷，因而引入位置信息。

具體方法：對於每個patch，計算其相對位置坐標，並將其大小轉換為32×32×32×3。

其中，位置坐標對應歸一化後的X，Y和Z軸（每個軸的取值範圍為-1~1，對應於肺的兩端）。

輸出層

輸出數據為4D的tensor，32×32×32×3×5，其中3表示anchor個數，5表示回歸量（即概率，三維坐標和bounding box直徑大小）。

其中，對於概率這一參數的激活函數採用sigmoid函數，其餘不使用任何激活函數。

損失函數

真值標籤為(Gx, Gy, Gz, Gr)，每個anchor記為(Ax, Ay, Az, Ar)，IoU（Intersection over Unit）大於0.5記為Positive，小於0.02記為False，其他在訓練過程中忽略。

分類損失為：

其中，p為anchor box的真值標籤。

bounding box回歸標籤為：

回歸總損失為：

其中，S為smoothed L1-norm函數：

對於每個anchor box的損失函數為：

最後，整體的anchor box的損失函數為anchor box的損失值取平均。

正反例數據

正例數據

對於大結節而言，網路會生成較多的positive anchor box，因此為了降低訓練數據之間的相關性，隨機挑選其中一個。

由於結節直徑大小分布不均，而NDSB3數據集多為大結節，因而對大於30mm和40mm的結節，採樣頻率分別是其他結節的2倍和6倍。

此處對於NDSB3競賽得分有利，實際是否可行有待商榷。

反例數據

對於一些易誤診為結節的反例數據，通過使用hard negative mining方法解決。

具體方法為：

將不同的patch輸入至網路得到不同置信度的輸出映射；

隨機選擇N個反例數據構成候選池；

侯選池中的數據以置信度值大小排序，且選出top-n的數據作為反例數據。

未選中的數據忽略且不參與損失計算。

此處可借鑒該方法，儘可能降低假陽性率，以及加速模型訓練。

圖像分割（測試過程）

輸入數據大小為208×208×208×1，overlap為32像素。

輸出數據為，其中xi, yi, zi表示proposal中心坐標，ri表示其半徑大小，pi表示其置信度。

輸出數據且使用非極大值抑制操作來去除overlaping proposal。

腫瘤分類

由於受限於訓練樣本數，因而復用結節檢測器階段的N-net網路。

輸入數據為結節的proposal，大小均為96×96×96×1，其僅使用了結節中心點的信息。在分類器訓練階段，隨機挑選proposal，且其選中的概率與proposal的置信度成正比；在測試階段，只挑選top-5的proposal。

經卷積核為24×24×24×128的最後一個卷積層得到輸出結果；隨後提取每個proposal中心處2×2×2的體素，並將其通過最大池化操作後得到128維的特徵，如下圖圖a所示。

對比四種預測腫瘤類別的方法（Feature combining method，MaxP method，Noisy-or method和Leaky Noisy-or method），挑選出Leaky Noisy-or方法作為最終的分類方法，如下圖圖b所示。

Leaky Noisy-or Method

引入一個假想結節，其患癌概率為Pd，Pd的值在模型訓練階段學習獲得。

將特徵輸入至兩層相同的Perceptron得到分類概率P：

其中，Pi表示第i個結節癌變的概率。

訓練過程

損失函數為交叉熵函數。為了避免過擬合採用了數據增強和正則化操作。

訓練的步驟：

transfer檢測器訓練參數後，再訓練分類器；

採用gradient clipping方法訓練分類器，隨後存儲BN（Batch Normalization）參數；

用存儲的BN參數和gradient clipping方法交替訓練檢測器和分類器。

註：BN在訓練階段和測試階段所計算的方法有所差異。因復用N-net網路，分類器和檢測器交替訓練，因而需對BN的參數做特殊處理。

- 加入AI學院學習 -

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！