機器深度學習與大數據結合在醫學圖像分析應用

顧建文教授，解放軍306醫院，神經外科，整理

深度學習Deep learning被引入機器學習領域machine learning field與大數據the big data的完美結合加快了人工智慧artificial intelligence實現的步伐，近年來備受學術界和工業界的廣泛關注。從深度學習的3 種經典模型出發，主要做了5 方面的工作: 第一，針對深度信念網路，從網路結構( 隱含層數、ＲBM 結構、DBN 級聯) ，學習演算法( 基本演算法、優化演算法與其他方法結合) ，硬體系統( GPU，FPGA) 三個方面進行總結; 第二，針對卷積神經網路，從網路結構( 輸入層、隱含層、CNN 個數) ，學習演算法，硬體系統三個方面進行歸納; 第三，針對堆棧自編碼器，以時間為軸對其發展進行梳理，闡述相應自編碼器的方法改進; 第四，從醫學圖像分割、醫學圖像識別和計算機輔助診斷3 個方面詳細探討深度學習在醫學圖像分析領域中的應用; 最後從大數據浪潮、模型構建、特徵學習、應用拓展4個方面對深度學習的發展進行展望。

深度學習是機器學習領域中一系列試圖使用多重非線性變換對數據進行多層抽象的演算法，不僅學習輸入和輸出之間的非線性映射，還學習輸入數據向量的隱藏結構，以用來對新的樣本進行智能識別或預測。20 世紀80 年代末期，用於人工神經網路的反向傳播演算法的發明掀起了基於統計模型的機器學習熱潮，20 世紀90 年代，淺層學習掀起機器學習的第一次浪潮，這些淺層結構雖然相比於過去基於人工規則的系統展現了很大的優越性，但對於處理複雜的問題，表現出特徵學習能力不足、維數災難、易陷入局部最優等缺點。針對上述問題，2006 年，Hinton 在《Science》上首次提出「深度學習」並掀起了機器學習的第二次浪潮，多隱層的網路具有優異的特徵學習能力，學習得到的特徵對數據有更本質的刻畫。2012 年《紐約時報》披露了Google Brain 項目，該項目用16 000 個CPU Core 的並行計算平台訓練「深度神經網路」，在語音識別和圖像識別中得到成功應用; 2013 年機器學習國際會議就音頻、語音和視覺信息處理的學習結構、表示和最優化等方面進行討論; 4 月，《MIT Technology Ｒeview》雜誌將深度學習列為2013 年十大突破性技術之首; 2013 年百度成立了深度學習研究院，並實施「百度大腦」計劃;2015 年，中科曙光推出深度學習一體機，並聯合中科院計算技術研究所和NVIDIA 公司成立深度學習實驗室;深度學習在神經影像學方面的突破對於醫學領域的發展至關重要。

鑒於深度學習優異的特徵學習能力和實際應用價值，可以總結深度學習的三種模型: 深度信念網路( Deep Belief Network，DBN) 、卷積神經網路( Convolutional Neural Network，CNN) 、堆棧自編碼器( Stacked Autoencoder，SAE) 。針對DBN，CNN 主要從網路結構、學習演算法和硬體系統三方面綜述研究進展，針對SAE以時間為軸梳理髮展過程; 然後對深度學習在醫學圖像分析領域中的應用進行詳細總結，最後從大數據浪潮、模型構建、特徵學習、應用拓展四個方面對深度學習未來的發展進行展望。

1 深度信念網路( DBN)

基本原理

DBN 是無監督學習下的深度結構概率生成模型，由多層神經元構成，顯性神經元用於接受輸入，隱性神經元用於提取特徵，每一層從前一層的隱含單元捕獲高階數據的相關性。DBN 的基本組成塊是受限玻爾茲曼機( ＲBM) ，層間單元是全連接關係，層內單元之間沒有連接關係。ＲBM 在給定模型參數θ 條件下，可以使用能量函數來表示ＲBM 中的可視單元v 和隱層單元h 的聯合分布P( v，h; θ) = exp( － E( v，h; θ) ) /z( θ) ( 1)

z( θ) =ΣvΣhexp( － E( v，h; θ) ) ( 2)

式中: P( v，h; θ) 為玻爾茲曼分布函數; z( θ) 是一個歸一化因子; θ = { ωij，bi，aj} 。對於一個伯努利( 可視) － 伯努利( 隱藏) ＲBM，其能量函數可定義為

E( v，h; θ) = －ΣIi = 1ΣJj = 1ωij vihj －ΣIi = 1bi vi －ΣJj = 1ajhj( 3)

條件概率可以表示為

p( hj = 1 v; θ) = σ( ΣIi = 1ωijνi + aj) ( 4)

p( νi = 1 h; θ) = σ( ΣIi = 1ωijhj + bi) ( 5)

其中: ωij為可視單元和隱單元的連接權值; bi和aj分別是對應偏置量，i 和j 為可視單元和隱層單元的數目; 激勵函數一般是sigmoid 函數。

DBN改進

DBN 作為一種無監督特徵學習複雜層次概率模型的方法，目前主要集中在網路結構、學習演算法、硬體系統3 個方面的改進研究，如圖 所示。

網路結構

深度信念網路是由ＲBM 堆疊而成，那麼ＲBM 的堆疊個數和結構的改變會構建不同的DBN，並且多個DBN 級聯也會影響其性能。

1) 在DBN 隱含層數的確定方面，目前主要依賴於先驗知識，其缺點是主觀性大，時間複雜度高。李晉徽提出瓶頸深度信念網路，設定一個奇數層的多層神經網路且最中間的神經元個數最少的一層作為瓶頸層，然後去除瓶頸層之後的網路，原來的瓶頸層作為輸出層; 潘光源證明了ＲBM 重構誤差與網路能量的正相關定理，根據隱含層和誤差的關係，提出一種基於重構誤差的網路深度判斷方法。

2) 在DBN 模型結構方面的研究主要是基於ＲBM結構的改進。期望能量受限波爾茲曼機是將ＲBM函數逼近的學習性能通過負預期能量代替負自由能量計算輸出; 數值屬性的DBN 是在sigmoid 單元中增加雜訊將輸入縮放到［0，1］區間，避免一般的輸入二值向量造成的信息丟失使分類效果降低的現象; 卷積深度信念網路是引入局部感受野和卷積操作，具有平移不變性並支持高效的自下而上和自上而下的概率推理; 因素四通道條件限制玻爾茲曼機即一個新標籤層和來自不同層的神經元結合建立四通道，實現回歸和分類。

3) 在DBN 級聯方面，深度信念網路和級聯去噪自編碼器結合，即前兩層用去噪自編碼實現，中間兩層用受限玻爾茲曼機來實現，最後用邏輯斯特層作為分類層; Ping Liu 提出由一組DBN 構成的BDBN( BoostedDBN) 框架使得特徵學習、特徵選擇和分類器重建統一成一個循環的過程，特徵被聯合微調同時被選擇形成一個強大的分類器。

學習演算法

DBN 的學習過程包括無監督預訓練和有監督微調，學習演算法是實現特定目標任務的基礎。

1) 在基本學習演算法方面， 2006 年，Hinton 教授提出高效的ＲBM 近似學習演算法( CD) ，即將原始ＲBM 的學習演算法中的概率分布差異度量用一個近似的概率分布差異度量取代; 2008 年Tijmen Tieleman 提出了PCD 學習演算法，既保持了CD 的學習效率又具備更強的模式生成能力，隨後提出的快速持續對比散度演算法，加快了運行速度; 2009 年開始出現了一系列基於回火的馬爾科夫鏈蒙特卡羅採樣演算法的ＲBM 學習演算法，為學習率和無監督訓練提供了高可靠性和強魯棒性; 趙彩光結合指數平均數指標演算法和並行回火的思想改進CD 訓練演算法; Noel Lopes提出了一種自適應步長技術以提高對比發散演算法的收斂性。

2) 對於優化演算法，其目的在於提高DBN 的整體性能。L1 和L2 兩個不同正則項的選擇性應用可確保表示的稀疏性和泛化能力; 經粒子群優化的DBNs 模型可獲得更好的函數逼近效果; 加入共軛梯度演算法可加速訓練; 基於連續判別訓練準則優化DBN 權值、狀態變換參數及語言模型分數，使得DBN 性能優於基於框架準則的DBN; 稀疏響應DBN即數據的分布和由DBN 的構建塊中定義的平衡分布之間的Kullback －Leibler 散度( 相對熵) 被視為失真函數，並且稀疏響應正則化誘導L1 範數代碼被用來實現一個小代碼率進行多層次的抽象特徵提取。

3) DBN 與其他方法的結合表現在結合預處理方法、特徵提取方法和分類器。對圖像進行歸一化處理輸入模型中; 對圖像提取特徵如LBP 或進行Gabor 小波變換並編碼作為輸入，從而學習數據更本質的特徵;輸出層與其他分類器結合達到良好的識別效果。有判別力的限制玻爾茲曼機與線性變換結合用於不變模式的識別，特徵提取和模式分類同時實現; 極限學習機( ELM)運用到DBN 模型的訓練中，既保證學習準確性又提高學習速度。

硬體系統

深度學習模型結構的複雜化必須以計算機硬體為基礎。高度可擴展的圖形處理單元( GPU) 並行執行CD－K 演算法，加快了訓練速度; 面向計算機集群的分布式內存計算方法提升深度學習技術並行化學習效率; 以多個副本非同步並行計算的方式進行深度信念網路模型訓練，明顯提高深度神經網路的訓練效率，並具備良好的可擴展性。

2 卷積神經網路( CNN)

基本原理

CNN 是一種有監督學習的深度學習模型( 如圖2所示) ，包含卷積層和子採樣層兩種特殊的結構層，通過結合局部感受野、權值共享、時間或空間亞採樣來實現對輸入數據的位移變化、尺度變化、形變變化的不變性。

圖2 卷積神經網路的整體結構

卷積神經網路的隱藏層是特徵提取的核心，在卷積層，每個神經元的輸入與前一層的局部感受野相連，並提取該局部的特徵。卷積層的形式xIj= f (Σi∈Mj xI － 1j × kIij + bIj) ( 6)

其中: I 代表層數; Mj代表輸入層的感受野; b 代表偏置。在下採樣層，輸入的特徵圖經過池化後其個數不變，輸出特徵圖大小為原圖一半，下採樣層的形式xIj= f( βIjp( xI － 1j) + bIj) ( 7)

其中: p ( ·) 為下採樣函數; β 為權重係數; b 為偏置係數。

CNN改進

卷積神經網路在二維圖像識別中展現了良好的容錯能力、並行處理能力和自學習能力，但其訓練時間過長，訓練速度過慢。

網路結構

多輸入卷積神經網路結構將原數據樣本梯度信息( 水平梯度、垂直梯度、兩個對角梯度) 同時輸入卷積神經網路，能更充分利用原始數據中隱含的特徵表達; 漸進式網路擴展結構通過不斷調整訓練集來改變網路結構，尤其加強訓練分類錯誤的數據集，從而提高分類精度; 自適應級聯卷積深層神經網路用高斯分布來表示預測位置和真實位置的距離達到人臉校準，降低了複雜性、增加了穩健性; 三維卷積神經網路模型通過在空間和時序上運用三維卷積提取特徵，基於輸入幀生成多個特徵圖通道，將所有通道的信息結合獲得最後的特徵表示; 多重卷積神經網路是由多個高識別率的小卷積神經網路組成，易於調節參數，可擴展性強。

學習演算法

對於優化演算法，在CNN 的全連接層引入Dropout或DropConnect 防止過擬合現象; 採用糾正線性單元( Ｒelu) 函數代替常用的sigmoid、使用隨機對角演算法優化訓練提高網路收斂速度; 基於Fisher 準則的深度學習演算法在保持樣本類內距離小、類間距離大的同時也考慮誤差的最小化，使權值能更加快速地逼近有利於分類的最優值，降低了時間複雜度並達到較好的識別效果。CNN 在分類識別過程中與視覺注意模型、多尺度滑動窗口有效結合先對物體定位; 與SVM、隨機森林、徑向基網路、Softmax 分類器結合，挖掘本質信息再直接智能識別; 在CNN 中引入了遞歸神經網路，先通過一級卷積神經網路學習原始圖像的組合特徵，再通過一級卷積和一級遞歸神經網路分層提取特徵，最後對特徵向量進行分類。

圖3 卷積神經網路的改進

硬體系統

深度學習性能的提升，需要高計算密度的硬體設備支持。CPU 由於其自身特點無法充分地挖掘CNN

內部的並行性; GPU 可通過其巨型並行結構以相對低的代價實現高計算量; FPGA 即現場可編程門陣列作為一種計算密集型加速部件，通過將演算法映射到FPGA上的並行硬體進行加速; 將一個深層CNN 轉換成一個脈衝神經網路( SNN) 映射CNN 到一個基於Spike 的硬體架構比基於FPGA 硬體的CNN 實施達到兩個數量級以上的高效率。

3 堆棧自編碼器( SAE)

堆棧自編碼器映射在一個二維空間中，縱軸以時間為序探索發展歷程，橫軸以方法改進作為指針綜述相應編碼器的進展，具體如圖4 所示。縱觀時間軸的進程: 以1986 年Ｒumelhart 提出的自動編碼器作為起點， 2006 年Hinton 提出堆棧自編碼器則是轉折點，隨後提出稀疏自編碼器、降噪自編碼器、收縮自編碼器、卷積自編碼器、拉普拉斯自編碼器，每一種編碼器又以橫軸為向進行改進。2006 年Hinton 提出堆棧自編碼器，它是一種從無類標數據中分層提取輸入數據高維複雜的特徵，得到原始數據的分布式特徵表示並利用無監督逐層貪心預訓練和系統性參數優化的多層非線性網路，根據不同任務的需要來調整參數，穩定性、可控性強，具有大規模並行、分布式處理、自組織和自學習的特點。2007 年，Benjio 提出稀疏自動編碼器，即在自編碼的基礎上增加稀疏性約束條件，提高表示學習演算法的魯棒性，增強數據的線性可分性，使得信息表述的全面性和準確率得到提高。稀疏自編碼器引入卷積神經網路和池操作，降低計算成本，減少訓練複雜性; 在SAE 進行無監督特徵預訓練時引入散射小波變換作為初始信號表示，計算出多階調製頻譜係數，經過預訓練、有監督微調進行識別。

圖4 自編碼器的改進

2008 年，Vincent 提出降噪自動編碼器，在訓練數據中添加腐壞向量，通過最小化降噪重構誤差，從含隨機雜訊的數據中重構真實的原始輸入。將加權重建損失函數引入到去噪自動編碼器中，構造一種加權去噪自動編碼器( WDA) 和雜訊分類的語音增強的方法;多層降噪自編碼器與欠採樣局部更新的元代價演算法結合，有效利用無標籤樣本、抗雜訊的特性，使組合模型具有代價敏感、降低不均衡性。2010 年，Salah 提出收縮自動編碼器，對升維和降維的過程加以限制，其代價函數為JCAE =ΣtL( xt，gθ( fθ( xt ) ) ) + λ J( xt ) tF( 8)

其中: λ 是反映矩陣正規化程度的活躍參數。收縮自編碼模型試圖利用隱單元構建一些複雜非線性流形模型，由於原理複雜，構建和訓練模型難度較大，近年來對其研究較少。2011 年，Masci J 提出卷積自動編碼器，學習圖像局部特徵，通過權重實現共享，並添加卷積和池化操作，保留數據的空間位置信息。在堆疊卷積自動編碼器中引入自引導學習並結合強大的時間緩慢約束從大量序列圖像塊中學習恆定表示以提高學習表示能力; 堆疊的局部卷積自編碼器利用貪婪逐層策略訓練堆疊的局部卷積自編碼器，梯度下降法用於訓練各個層，輸入數據的表示視為對象特徵，從而提高了3D對象檢索性能。2012 年，Taylor 深入探討了SAE 與無監督特徵學習之間的聯繫，闡述如何利用自動編碼器來構建不同類型深度結構。2013 年Telmo 研究了用不同代價函數訓練SAE 的性能，為代價函數優化策略的發展指明方向。2015 年，Kui Jia 提出一種新的無監督流形學習方法—拉普拉斯自動編碼器( LAE) ，從正則函數的學習框架出發，使學到的編碼功能在數據點的局部有防腐性能，具有更好的泛化能力，當訓練樣本稀缺時，LAE 優於其他自編碼器。

4 深度學習在醫學圖像分析中應用

基於深度學習模型結構和學習演算法的不斷優化，深度學習醫學圖像分析方面應用廣泛，從醫學圖像分割、識別、計算機輔助診斷三方面提供便利。

醫學圖像分割

在醫學圖像分割方面，將深度學習演算法與其他演算法結合使用，CNN 和連通分量演算法結合用於掃描電鏡圖像分割，與隨機森林結合用於神經細胞圖像分割，基於超像素和卷積神經網路的方法用於宮頸癌細胞的分割; 基於導數和深度學習架構的檢索方法對心臟超聲圖像的左心室分割進行研究。深度卷積神經網路用於多模態同強度的嬰兒腦部圖像的分割，三維CNNs 對多模態圖像特徵提取後對MＲI 腦腫瘤、膝關節軟骨進行分割都取得了進步，作用於MＲ 圖像的前列腺分割對於診斷前列腺癌和前列腺癌的放射治療意義重大。

醫學圖像識別

在醫學圖像分類識別中，將深度信念網路用於腦電圖數據表現的積極和消極的情感分類; 利用深度學習對基於超聲造影的良性和惡性肝臟局灶性病變進行分類，展現了準確性、敏感性和特異性上的優越性;基於子集的深度學慣用於ＲGB－D 對象識別，原始ＲGB－D 圖像劃分為若干子集，從中學習更高級別的特徵被級聯為最終特徵進行分類，其精度顯著提高。限制玻爾茲曼機概率模型用於神經影像學的檢查以此來識別固有網路，適用於分層和多模態的擴展數據，為今後的神經影像學研究提供了前景; 卷積深度信念網路考慮到頻域空間變換數量的最小化，開闢了深度學習在三維圖像分析領域新的方向。

計算機輔助診斷

在計算機輔助診斷方面，利用深度學習演算法對前列腺病理圖像組織來源進行判斷、根據X 光片和胸片的集群微鈣化表現檢測乳腺癌、利用卷積神經網路對小細胞型肺癌輔助檢測都取得了較高的檢測率。利用深度玻爾茲曼機從PET /MＲI 多模態融合圖像中挖掘高層次潛在特徵，對AD 和MCI 的診斷準確率可高達95． 35%， 85． 67%; CNN 用於胸片中胸管的檢測，得到了99． 99%的準確度和特異性，開啟了深度學慣用於人造物體檢測的先例; 將降噪自編碼器用於從不完整的腦電圖EEG 進行特徵學習，使用Lomb–Scargle 周期圖對不完整EEG 頻譜能量進行評估; 中科院金林鵬提出導聯卷積神經網路，並利用「平移起始點」和「加噪」增加訓練樣本數，構造了心電圖分類模型，並取得83． 66%的準確率。

深度學習展望

1) 大數據潮流。隨著大數據時代的來臨和存儲技術的發展，如何從海量數據中挖掘信息至關重要，所以充分利用大量的無標記數據、無監督地進行特徵學習賦予了深度學習無限的發展潛力，「大數據+ 深度模型」將成為未來的研究方向。

2) 模型構建。深度學習模型是具有多層隱含層的人工神經網路，但並不是隱含層越多越好，網路層數的確定和激活函數的選擇值得探討，並且隨著模型複雜度的不斷增加，如何衡量訓練複雜度和任務複雜度的關係、如何權衡模型規模與訓練速度、訓練精度之間的關係都是深度學習研究的方向。

3) 特徵學習。深度學習的「深度模型」是手段，「特徵學習」則是目的，有效的訓練演算法和連續的優化策略、網路結構參數設定和優化對於特徵選擇極其重要，演算法自身和硬體系統的改進、與其他方法的融合、結合複雜推理表示學習系統、操作大量向量的新範式來代替基於規則的字元表達式操作等，都是特徵學習能力提升的表現。

4) 應用拓展。深度學習的廣泛應用將催生出多個領域的變革和跨越式發展，作為新一代信息科學的主流方法，在圖像識別、語音識別、計算機視覺等方面取得進步的同時更應拓寬應用範圍，對於智能設備、無人駕駛汽車、機器人等領域具有非常廣闊的應用前景，尤其對於醫學圖像的分析和計算機輔助診斷具有直接的現實意義。

深度學習已引起了各領域研究人員的廣泛關注，深度信念網路、卷積神經網路在網路結構、學習演算法和硬體系統3 方面的研究和堆棧自編碼器隨時間發展不斷改進，醫學圖像的分割、識別和計算機輔助診斷3 方面在醫學圖像分析領域中的廣泛應用，從大數據浪潮、深度模型構建、特徵學習能力提升、應用拓展4 個方面對深度學習未來的發展。藉助大數據的潮流，結合深度學習自身潛力，爭取在醫學領域取得更大的進步並早日實現人工智慧的初衷。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！