深度學習如何改變醫療影像分析？圖瑪深維首席科學家給出了答案！

科技 04-11

去年5月，在2017年度GPU技術大會（GTC）上，英偉達發布了超級計算機NVIDIA DGX Station。作為針對人工智慧開發的GPU工作站，NVIDIA DGX Station的計算能力相當於400顆CPU，而所需功耗不足其1/20，而計算機的尺寸恰好能夠整齊地擺放在桌側。數據科學家可以用它來進行深度神經網路訓練、推理與高級分析等計算密集型人工智慧探索。

作為致力於將深度學習人工智慧技術引入到智能醫學診斷的系統開發商，圖瑪深維採用了DGX Station以及CUDA並行加速來進行神經網路模型的訓練，並在此基礎上開發出了σ-Discover Lung智能肺結節分析系統。σ-Discover Lung系統能夠幫助醫生自動檢測出肺結節、自動分割病灶、自動測量參數，自動分析結節良惡性、提取影像組學信息、並對肺結節做出隨訪，大幅度減少結節篩查時間，減少讀片工作量，提高結節的檢出率，並且提供結節的良惡性定量分析，提高篩查的效果。σ-Discover Lung系統於去年8月發布。去年12月，圖瑪深維完成軟銀中國領投的2億人民幣B輪融資。

3月23日起，智東西聯合NVIDIA推出「NVIDIA實戰營」，共計四期。第一期由圖瑪深維首席科學家陳韻強和NVIDIA高級系統架構師付慶平作為主講講師，分別就《深度學習如何改變醫療影像分析》、《DGX超算平台-驅動人工智慧革命》兩個主題在智東西旗下「智能醫療」社群進行了系統講解。目前，「NVIDIA實戰營」第二期已經結束。而第三期將於4月13日20點開講，主題為《智能監控場景下的大規模並行化視頻分析方法》，由西安交通大學人工智慧和機器人研究所博士陶小語、NVIDIA高級系統架構師易成共同在「智能安防」社群主講。

本文為陳韻強博士的主講實錄，正文共計4472字，預計7分鐘讀完。在瀏覽主講正文之前，可以思考以下五個問題：

-低劑量胸部掃描是否能識別結節的良惡性？

-傳統CAD技術為何不如深度學習？

-深度學習在醫學影像分析有哪些應用場景？

-基於多任務的深層神經網路模型如何搭建智能肺結節分析系統？

-深度學習給醫療哪些領域會帶來變革？

陳韻強：大家好！很高興有機會和英偉達的專家一起和大家交流深度學習在智能醫療影像分析方面的應用。先簡單介紹下圖瑪深維醫療科技有限公司（以下簡稱圖瑪深維）以及公司在智能醫療領域的產品路線。圖瑪深維成立於2015年，一直致力於利用深度學習技術來提高智能醫療水平，輔助醫生採用更加精確、有效的手段來診斷疾病和確定治療方案，從而更好地為患者服務。公司發展到今天，已經有一百多名全職僱員，八位醫學顧問，公司總部設在北京，並且已經在蘇州、上海以及美國聖地亞哥建立了分部。

在去年的GTC大會北京站上，圖瑪深維獲得「2017中國人工智慧初創公司挑戰賽」冠軍並獲得了價值百萬的超級計算機DGX-1大獎。這張照片就是我們在這次挑戰賽冠軍的獎品——最新的DGX工作站。我們已經將其應用到研發工作中，並且給工作效率帶來了非常大的提升。後面我也會做一些關於DGX工作站效率的詳細比較，大家可以看一下。

圖瑪深維目前主要專註於醫學影像分析。現代醫學影像取得重大進步的一個原因，其實就是基於不同成像設備的巨大發展，比如CT斷層成像、核磁共振掃描、三維超聲等，都可以在沒有創傷或微創的情況下，觀察人體內部的細微組織結構，在疾病的早期檢測、找到疾病的病因以及病灶位置方面帶來了極大的增強，從而可以讓醫生儘早確定治療方案。另外，在人體的不同部位，不同疾病的表現方式也都不太一樣，檢測方法也不一樣，因此圖瑪深維的產品針對不同的成像儀器，涵蓋了人體的多個部位，來對一些高發以及高危的疾病進行智能輔助診斷。現在我們著重的是比較高危害的疾病，包括各種惡性的癌症、心血管常見疾病以及腦血管疾病等。

下面我主要以我們公司的肺癌產品為例，來介紹一下公司在智能醫療領域的貢獻、智能醫療的重要性和它需要實現的任務及範疇。可以看到，現在世界衛生組織預測21世紀人類第一殺手，就是一些常見的惡性癌症。全球每年大概有700萬人死於癌症，而在中國，惡性腫瘤發病率也非常高，每年發病率平均在160萬左右，死亡數量也相當高，達到130萬，惡性腫瘤在所有的死亡病例裡面佔了1/5左右，是現代危害非常嚴重的一種疾病。而肺癌更是惡性腫瘤裡面發病率最高的惡性腫瘤之一，其五年生存率僅僅為15%左右。

從上圖我們可以看到肺癌在男性發病率裡面是最高的，女性群體中乳腺癌是最高的，而其次就是肺癌。因此肺癌在整個惡性腫瘤中是最嚴重的一種，但是實際上我們也不應該談癌變色，而是要儘早地發現和治療，這樣才能提高治癒率。

肺癌之所以可怕，是因為它的初期癥狀非常不明顯，很容易被忽略掉，而到了晚期則會發生癌細胞轉移，導致治療非常困難。美國腫瘤協會一系列的研究表明，檢測肺部結節是早期發現肺癌的一個非常有效的手段。由於肺部結節腫瘤的尺寸很小，在傳統的X-ray胸部透視平片上是很難看到的，而通過低劑量CT進行早期篩查，能夠極大地提高早期肺癌的診斷率。

我們知道，CT斷層成像是解析度非常高的三維成像，所以它的數據量也非常大。每個病人基本上都有幾百張斷片成像，這樣就導致了醫生診斷非常困難，花的時間也非常多。由於它診斷的困難性，所以有不少人在很早期時就提出來用計算機輔助診斷，利用計算機的大運算量來幫助醫生進行診斷，一直到深度學習的出現，才使得這個想法變得可行，因為早期診斷演算法的診斷效率以及準確率都比較低，不能達到實用的要求。隨著深度學習的出現，在各種診斷率上面有了顯著的提高，也使得計算機輔助診斷的想法成為了可能。

就肺癌診斷這個方向來說，其實絕大多數其他疾病的診斷跟肺癌診斷的應用場景是比較相似的。由於數據量非常龐大，由醫生一張張來找是非常困難的一件事情。所以，我們可以通過演算法來自動進行疾病的病灶檢測和定位，在進行了病灶的定位以後，還可以做一些輔助性的定性分析，比如結節的良惡性判斷等工作，由於有隨訪的要求，那麼一個病人可能是在經過半年時間左右再回來複查的時候，我們需要了解結節的變化大小，所以這些數據由計算機來計算，就非常方便。深度學習由於它快速有效的運算以及非常高的精度，使得其在不少實際的識別問題中已經達到了接近人的視覺經驗的水平，同時它是比較智能化的，可以通過大量數據的訓練來增強它的準確性。

深度學習應用在醫學中也可以去生成自動學習的特徵來進行疾病的識別和判斷，也可以自動生成結構化的診斷報告，輔助進行科學研究以及教學培訓。

那麼傳統的CAD技術為什麼達不到這些效果呢？在傳統的CAD技術里，主要是通過醫學影像分析，由那些有很多經驗的人來設計一些比較適合做不同類型疾病檢測的特徵值，比如紋理分析、邊緣檢測以及物體檢測的各種不同的特徵函數，比如SIFT或HoG等。

但是這些特徵的訓練完全是通過人來實現的，而人需要去看大量的病例，然後從數據中總結出經驗，而且不可能用太多的特徵來做這件事情，所以導致了疾病的診斷率一直上不來，同時在面對不同疾病的時候，又需要設計一套完全不同的特徵向量，這也是傳統CAD技術沒辦法很快地應用到醫學的不同領域中去的原因。

隨著深度學習技術的出現，它對我們最大的貢獻是提供了一套可以從大量數據中自動學習最有效特徵的演算法。其實它也是在模擬人的視覺系統及識別系統中的一些實現方式，比如，以前人是通過看大量的圖像來人為地選取特徵，而現在變成利用梯度的反向傳播原理來自動提取特徵向量。

深度學習的另外一個好處，就是它在訓練的過程中，一直專註於優化準確率，而且它可以通過看大量的訓練數據來實現最優的準確率，如果讓人類來做這個設計的話，幾乎是不可能實現的。我們不可能去把所有的圖都去算一遍，然後去調整閾值，調整各種權重之類的參數來達到最優，現在這些都是由具備超強運算能力的GPU來實現的。

這個圖就是深度學習早期時候的一些文章，顯示它訓練出來的特徵向量，我們可以看到，其實在前幾層的時候，深度學習選出來的特徵向量跟人選出來的特徵值是非常接近的。比如各種不同角度的edge detection，以前人類來設計特徵向量也有各種角度多個尺度的Gabor Filter Bank等這些設計，相比來說其實是非常類似的。但是人沒辦法進入更高層的抽象，所以導致識別的效率沒有那麼高，可以看到，在後面幾層識別出來的這些特徵，就比較接近每個元部件的組成。

可以看到，如果我們要識別不同物體的種類，比如樹、貓、狗等，那麼深度學習一開始在所有網路裡面的權重都是隨機選取的，這時它出來的結果很可能是完全沒有道理的，比如給它一張貓的圖片，它可能認為是烏龜，但是我們因為有這個類型的標識，所以我們可以知道這個做錯了，這時它就可以把錯誤反向傳播，同時希望使得給出的正確路徑得到進一步的增強，而錯誤的路徑則得到進一步的抑制，經過多次這樣的循環以後，得到準確的特徵向量。

整個學習的過程在早期是沒辦法實現的，電腦的計算能力雖然一直有非常快速的增長，也符合之前的摩爾定律，但即使如此，計算能力也一直沒辦法進行這麼大規模的訓練量，而隨著NVIDIA GPU的出現，運算能力已經遠遠超過原來摩爾定律的設定，最主要原因當然是因為GPU可以進行大規模的並行計算，我們知道這些特徵的計算都是基於一個小的區域來進行的，而在整張圖像上的不同地方都是可以並行計算的。隨著GPU的發展，不同深度學習網路的運算速度尤其是訓練的速度已經顯著增強，GPU比CPU的速度要快出好幾百倍。

因為針對的是三維醫學圖像，所以我們的演算法使用的是三維卷積網路，在三維的情況下，計算量更大，因此GPU的效果在我們實際機器上做出來的benchmark中，GPU效率使CPU的500多倍，在做最終推理的時候，大概是2000多倍。

拿到了DGX Workstation後，我們又跟之前用的P100 GPU做了比較，發現DGX的運算速度比P100要快一倍左右，在訓練和推理過程中，基本上都是超過一倍的速度。

我一直覺得訓練速度是一件非常重要的事情，因為在整個模型中，我們經常需要去調各種模型參數、試驗不同的模型等，如果每調整一個參數我們都需要等上好幾天才能看到結果的話，那麼整個演算法模型優化的過程就會變得非常沒有效率，可能過了幾天等結果出來了以後，我們都忘了想做什麼測試了，所以現在如果能加快訓練模型的速度，對研發是非常有好處的。

深度學習在醫療上已經取得了非常廣泛的應用，比如各種Pathology的圖像、腦影像的立體分割、基因序列預測、眼底視網膜成像，還有最新的Nature雜誌上的皮膚癌診斷等。

我們的肺結節診斷系統實現了多個功能，就像前面列的在醫療場景里的應用一樣，我們需要幫助醫生實現好幾個不同的功能，包括結節的檢測、對結節進行分割，然後給一些定量定性的分析，也可以對結節的不同時期的隨訪病人跟蹤其每個結節在時間上的變化，然後是結節的檢索，可以看出過去類似結節的分析結果，以及對結節做出最終的良惡性判斷，判斷它是哪個類型的，是良性還是惡性，最後還可以自動生成報告，整個流程極大地加速了醫生的診斷過程。

整個系統花一分鐘左右的時間就能夠完成所有肺結節的診斷，而對肺結節診斷的敏感性達到96.7%，良惡性判斷的準確率為90%，相當於高年制副主任醫師的水平。

這是我們模型設計的框架，是基於多任務的深層神經網路模型來做的。為了做整個結節的檢測，我們需要完成多個任務，包括肺部的分割、結節的檢測、結節的分割，然後進行結節的隨訪和檢索，以及結節的定量定性分析，比如判斷結節的種類、良惡性。這些任務都有它們自己的訓練數據，但是它們之間共享深度學習網路層的特徵，只是在最後進行不同的任務而已。在訓練的時候，根據不同的任務，它的訓練標註模式也是不一樣。

上面這張圖就顯示了幾個我們檢測到的結節，一般結節看起來是什麼樣子的呢？我們可以看到，肺部的結節種類是非常多的，尤其是在中國，有不少毛玻璃類型的結節，他們之間的對比度非常弱，也非常小，我們可以看到它跟邊上的血管、氣管對比度要弱很多，但是由於我們是利用深度學習訓練出來的模型進行識別，它是自動進行的，可以看到3D的圖像，不光是在二維層面去看這個圖像，同時可以製造上下層之間的關係，利用整個空間信息來最終實現結節的診斷。

目前我們的肺結節診斷系統已經安裝了超過一百家醫院。在試用期間已經處理了超過90萬的病例，幫助避免漏診20000個左右的結節，我們之前也在CCR做過「醫生+AI」和「醫生」的比較，發現「醫生+AI」能夠節省80%的讀片時間，同時還能降低漏診率，因為我們在看到結節非常微小的時候，是很容易漏診的。在醫生划過整個CT volume的時候，是非常容易漏診掉的。

上面這張圖裡面就是我們在試用的過程中找到的一些結節，其中有一些做了病理的檢測。我們可以看到，對於這個病例的第一個結節，演算法認為它是中等風險，最後病理檢測出來確實是良性的，是不典型增生。

這是另外一個病例，雖然這個結節的尺寸也非常小，還不到一厘米。但是它是磨玻璃的形狀，我們的演算法分析出它的風險度比較高，最後實際的病理測試證明它確實是惡性的微浸潤肺腺癌。

所以從整個的使用情況來看，我們非常高興看到計算機輔助診斷確確實實能夠很大地提高醫生的診斷率，提高醫生的效率，以及防止漏診和誤診等。我們寫出來的演算法並不是要去替代醫生，而是希望能更好地去輔助醫生，提升醫生的工作效率，能夠集中精力去確定病人的治療方案，而不是花在很多計算機輕易就能做得很好的一件事情上。

今天的內容基本上就是這些了。非常高興能有機會和大家交流深度學習在圖像上的應用。希望感興趣的人可以跟我們公司聯繫。謝謝大家！

另外，陳韻強博士在Q&A環節針對「智能醫療」社群六位用戶的提問進行了回答，以下是實錄：

問題一

趙兵強浙江省嘉善縣中醫醫院放射科主任

1、低劑量胸部掃描是否同樣能識別結節的良惡性？

2、高解析度模式重建和標準窗重建對結節識別有什麼區別？

陳韻強：1、第一個問題,答案是肯定的，我們知道美國腫瘤協會公布了大量的肺癌數據，都是低劑量胸部掃描的數據，我們的演算法在這方面測試識別的準確率還是相當高的。

2、關於第二個問題，我們在實際訓練的時候，不同重建模式的數據都會放在訓練數據裡面，這些重建的參數會影響圖像的特徵，所以我們把這些不同的重建模式都放在訓練數據裡面，可以實現更加通用的檢測演算法。

問題二

汪翼太原航空儀錶工程師

目前醫療影像領域識別肝細胞癌(CT或者MRI)最新的和主流的深度學習模型是什麼？3DU-net在醫療影像的應用前景如何？

陳韻強：現在識別大多數還是用的是ResNet，DenseNet等識別模型。3DU-net還是比較適合醫療影像的圖像分割的，現在取得的成績也相當不錯。大多數人會採用改良的3DU-net來做醫療影像分割。

問題三

劉春雷-連心醫療深度學習演算法工程師

醫學圖像分割相對傳統圖像分割有哪些難點？目前表現突出的用於醫療圖像分割的網路模型有哪些？

陳韻強：就我個人感覺，醫學圖像主要是人體各種疾病的診斷，所以它上下文的信息是非常重要的。即使醫生在看醫學圖像的時候，也需要知道他在看哪個器官的哪類疾病，然後來幫助診斷出病灶；另外一個比較重要的是高解析度的圖像信息，通常來說病灶都是非常微小的，如果做了任何down-scaling 這種事情的話，信息就會丟掉很多，就變得很難找到，所以現在表現比較突出的醫療分割網路，比如U-net結構，它可以比較有效地集成不同尺度的信息。

問題四

陳嘉偉南方醫科大學

影像數據的預處理環節對於整個模型訓練過程中有多大關鍵影響，能否以一個實例分析一下嗎？

陳韻強：我覺得預處理這個環節，基本上跟傳統CAD的做法很像，通過人的先驗知識去找到一個特定的特徵空間來幫助演算法檢測目標。實際上如果在訓練數據比較多的時候，深度學習很可能自己學出來；如果在訓練數據比較小的時候，預處理就會顯得比較重要一些。

問題五

盧紅陽中科院醫工所

深度學習在磁共振成像中的應用如何？

陳韻強：深度學習在不同的醫學成像、模組裡面都有很大的應用範圍。深度學習在核磁共振裡面，我看到相關的研究方向有腦部分割、做肝結節檢測、心臟功能分析等，涉及到這方面的工作也非常的多。

問題六

陳章 Thomas Jefferson Hospital

請問醫療影像數據一般如何獲取？

陳韻強：大家也都發現，大量的數據訓練深度學習網路能夠做出更好的結果，去造福廣大患者，增加醫療準確性。現在數據獲取已經遠遠不像以前那麼困難，當然醫療數據還是比較敏感的，所以一定要匿名化，這些操作如果符合內化的規則，數據還是可以獲取到的。