AI 人工智慧的深度學習

最新 03-16

文 | 感測器技術（WW_CGQJS）

大V吳恩達曾經說過：做AI研究就像造宇宙飛船，除了充足的燃料之外，強勁的引擎也是必不可少的。假如燃料不足，則飛船就無法進入預定軌道。而引擎不夠強勁，飛船甚至不能升空。類比於AI，深度學習模型就好像引擎，海量的訓練數據就好像燃料，這兩者對於AI而言同樣缺一不可。

深度學習是一個近幾年備受關注的研究領域，在機器學習中起著重要的作用。深度學習通過建立、模擬人腦的分層結構來實現對外部輸入的數據進行從低級到高級的特徵提取，從而能夠解釋外部數據。

深度學習

深度學習（Deep Learning）的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。

深度學習也稱為深度結構學習【Deep Structured Learning】、層次學習【Hierarchical Learning】或者是深度機器學習【Deep Machine Learning】）是一類演算法集合，是機器學習的一個分支。它嘗試為數據的高層次摘要進行建模。

機器學習通過演算法，讓機器可以從外界輸入的大量的數據中學習到規律，從而進行識別判斷。機器學習的發展經歷了淺層學習和深度學習兩次浪潮。深度學習可以理解為神經網路的發展，神經網路是對人腦或生物神經網路基本特徵進行抽象和建模，可以從外界環境中學習，並以與生物類似的交互方式適應環境。神經網路是智能學科的重要部分，為解決複雜問題和智能控制提供了有效的途徑。神經網路曾一度成為機器學習領域備受關注的方向。

我們用一個簡單的例子來說明，假設你有兩組神經元，一個是接受輸入的信號，一個是發送輸出的信號。當輸入層接收到輸入信號的時候，它將輸入層做一個簡單的修改並傳遞給下一層。在一個深度網路中，輸入層與輸出層之間可以有很多的層（這些層並不是由神經元組成的，但是它可以以神經元的方式理解），允許演算法使用多個處理層，並可以對這些層的結果進行線性和非線性的轉換。

深度學習的由來

１、人腦視覺機理啟示

人類每時每刻都面臨著大量的感知數據，但大腦總能很容易地捕獲重要的信息。人工智慧的核心問題就是模仿大腦這種高效準確地表示信息的能力。通過近些年的研究，我們對大腦機理已有了一些了解，這些都推動了人工智慧的發展。

神經學研究表明，人的視覺系統的信息處理是分級的，從低級的Ｖ1區提取邊緣特徵，到Ｖ2區的形狀，再到更高層。人類大腦在接收到外部信號時，不是直接對數據進行處理，而是通過一個多層的網路模型來獲取數據的規律。這種層次

結構的感知系統使視覺系統需要處理的數據量大大減少，並保留了物體有用的結構信息。

２、現有機器學習的局限性

深度學習與淺層學習相對。現在很多的學習方法都是淺層結構演算法，它們存在一定的局限性，比如在樣本有限的情況下表示複雜函數的能力有限，針對複雜的分類問題其泛化能力受到一定製約。

而深度學習可通過學習一種深層非線性網路結構，實現複雜函數逼近，表徵輸入數據分散式表示，並且能在樣本集很少的情況下去學習數據集的本質特徵。

雖然淺層學習的應用也很廣泛，但它只對簡單的計算才有效，並不能到達人腦的反應效果，這就需要深度的機器學習。這些都表明淺層學習網路有很大的局限性，激發了我們對深度網路建模的研究。

深度機器學習是數據分散式表示的必然結果。有很多學習結構的學習演算法得到的學習器是局部估計運算元，例如，由核方法構造的學習器，是由對模板的匹配度加權構成的。對於這樣的問題，通常我們有合理的假設，但當目標函數非常複雜時，由於需要利用參數進行描述的區域數目也是巨大的，因此這樣的模型泛化能力很差。在機器學習和神經網路研究中分散式表示可以處理維數災難和局部泛化限制。分散式表示不僅可以很好地描述概念間的相似性，而且合適的分散式表示在有限的數據下能體現出更好的泛化性能。理解和處理接收到的信息是人類認知活動的重要環節，由於這些信息的結構一般都很複雜，因此構造

深度的學習機器去實現一些人類的認知活動是很有必要的。

３、特徵提取的需要

機器學習通過演算法，讓機器可以從外界輸入的大量數據中學習到規律，從而進行識別判斷。機器學習在解決圖像識別、語音識別、自然語言理解等問題時的大致流程如圖１所示。

首先通過感測器來獲得數據，然後經過預處理、特徵提取、特徵選擇，再到推理、預測和識別。良好的特徵表達影響著最終演算法的準確性，而且系統主要的計算和測試工作都在這一環節。這個環節一般都是人工完成的，靠人工提取特徵是一種非常費力的方法，不能保證選取的質量，而且它的調節需要大量的時間。然而深度學習能自動地學習一些特徵，不需要人參與特徵的選取過程。

深度學習是一個多層次的學習，如圖２所示，用較少的隱含層是不可能達到與人腦類似的效果的。這需要多層的學習，逐層學習並把學習的知識傳遞給下一層，通過這種方式，就可以實現對輸入信息進行分級表達。深度學的實質就是通過建立、模擬人腦的分層結構，對外部輸入的聲音、圖像、文本等數據進行從低級到高級的特徵提取，從而能夠解釋外部數據。與傳統學習結構相比，深度學習更加強調模型結構的深度，通常含有多層的隱層節點，而且在深度學習中，特徵學習至關重要，通過特徵的逐層變換完成最後的預測和識別。

深度學習的經典演算法

深度學習作為機器學習的一個分支，其學習方法可以分為監督學習和無監督學習。兩種方法都具有其獨特的學習模型：多層感知機、卷積神經網路等屬於監督學習；深度置信網、自動編碼器、去噪自動編碼器、稀疏編碼等屬於無監督學習。

１、監督學習：卷積神經網路CNNs

20世紀60年代，Hubel和Wiesel通過對貓視覺皮層細胞的研究，提出了感受野(receptive field)的概念。受此啟發， Fukushima提出神經認知機 (neocognitron)可看作是CNNs卷積神經網路的第一個實現網路，也是感受野概念在人工神經網路領域的首次應用。隨後LeCun等人設計並採用基於誤差梯度的演算法訓練了卷積神經網路，並且其在一些模式識別任務中展現出了相對於當時其它方法的領先性能。現代生理學關於視覺系統的理解也與CNNs中的圖像處理過程相一致，這為CNNs在圖像識別中的應用奠定了基礎。CNNs是第一個真正成功地採用多層層次結構網路的具有魯棒性的深度學習方法，通過研究數據在空間上的關聯性，來減少訓練參數的數量。目前來看，在圖像識別領域，CNNs已經成為一種高效的識別方法。

CNNs是一個多層的神經網路，如圖３所示，每層由多個二維平面組成，每個平面又由多個獨立的神經元組成。上一層中的一組局部單元作為下一層鄰近單元的輸入，這種局部連接觀點最早起源於感知器。外界輸入的圖像通過可訓練的濾波器加偏置進行卷積，卷積後在Ｃ１層會產生３個特徵映射圖；然後特徵映射圖中每組像素分別進行求和加偏置，再通過Sigmoid函數得到Ｓ２層的特徵映射圖；這些映射圖再通過濾波器得到Ｃ３層；Ｃ３與Ｓ２類似，再產生Ｓ４；最後，這些像素值被光柵化，並且連接成向量輸入到神經網路，從而便得到了輸出。一般地，Ｃ層為特徵提取層，每個神經元的輸入與前一層的局部感受野相連，並提取該局部特徵，根據局部特徵來確定它與其他特徵空間的位置關係；Ｓ層是特徵映射層，特徵映射具有位移不變性，每個特徵映射為一個平面，平面上所有神經元的權值是相等的，因而減少了網路自由參數的個數，降低了網路參數選擇的複雜度。每一個特徵提取層（Ｃ層）都會跟著一個用於求局部平均及二次提取的計算層（Ｓ層），這便構成了兩次特徵提取的結構，從而在對輸入樣本識別時，網路有很好的畸變容忍能力。對於每一個神經元，都定義了對應的接受域，其只接受從自己接受域傳來的信號。多個映射層組合起來可以獲得層之間的關係和空域上的信息，從而方便進行圖像處理。

CNNs是人工神經網路的一種，其適應性強，善於挖掘數據局部特徵。它的權值共享網路結構使之更類似於生物神經網路，降低了網路模型的複雜度，減少了權值的數量，使得CNNs在模式識別中的各個領域得到應用並取得了很好的結果。CNNs通過結合局部感知區域、共享權重、空間或時間上的降採樣來充分利用數據本身包含的局部性等特徵，優化網路結構，並且保證一定程度上的位移的不變性。由LeCun出的LeNet模型在應用到各種不同的圖像識別任務時都取得了不錯的效果，被認為是通用圖像識別系統的代表之一。通過這些年的研究工作，CNNs的應用越來越多，如人臉檢測、文檔分析、語音檢測、車牌識別等方面。2006年Kussul等人提出的採用排列編碼技術的神經網路在人臉識別、手寫數字識別和小物體識別等識別任務上都取得了與一些專用分類系統相當的性能表現；並且在2012年，研究人員把視頻數據里連續的幀當作卷積神經網路的輸入數據，這樣就可以引入時間維度上的數據，從而識別人體的動作。

２、無監督學習：深度置信網DBNs

DBNs是目前研究和應用都比較廣泛的深度學習結構，它由多個受限玻爾茲曼機累加而成。RBM結構如圖４所示，分為可視層即輸入數據層（υ）和隱藏層（ｈ），每一層的節點之間沒有連接，但層和層之間彼此互連。相比傳統的sigmoid信念網路，RBM易於連接權值的學習。Hinton等人認為，如果一個典型的DBN有ｌ個隱含層，那麼可以用聯合概率分布來描述輸入數據υ和隱含向量的關係：

其中，是條件概率分布。DBN學習的過程中，所要學習的就是聯合概率分布，在機器學習的領域中，聯合概率分布的意義就是對象的生成。

傳統的BP演算法在經典的網路結構中廣泛應用，但對於深度學習的訓練卻遇到了很多困難：第一，BP演算法是監督學習，訓練需要有標籤的樣本集，但實際能得到的數據都是無標籤的；第二，ＢＰ演算法在多隱層的學習結構中，學習過程較慢；第三，不適當的參數選擇會導致局部最優解。為了獲取生成性權值，預訓練採用非監督貪婪逐層演算法，非監督貪婪逐層訓練演算法被Hinton證明是有效的。

非監督貪婪逐層訓練演算法的核心思想是：把 DBN分層（見圖５），每一層進行無監督學習，每次只訓練一層，將其結果作為高一層的輸入，最後用監督學習調整所有層。在這個訓練階段，首先，在可視層會產生一個向量ｖ，通過它將值映射給隱單元；然後，可視層的輸入會被隨機地選擇，以嘗試去重構原始的輸入信號；最後，這些新可視單元再次映射給隱單元，獲得新的隱單元ｈ。執行這種反覆步驟叫做吉布斯（Gibbs）採樣。隱層激活單元和可視層輸入之間的相關性差別就作為權值更新的主要依據。在最高兩層，權值被連接到一起，從而更低層的輸出將會提供一個參考的線索或者關聯給頂層，這樣頂層就會將其聯繫到它的記憶內容。預訓練結束後，DBN可以利用帶標籤的數據及BP演算法去調整網路結構的性能。DBNs的BP演算法只需要對權值參數空間進行一個局部的搜索，這相比前向神經網路來說，訓練的時間會顯著減少，訓練 RBM是Gibbs有效的隨機抽樣技術。在貪婪的學習演算法過程中，採用了Wake-Sleep演算法的基本思想，演算法在Wake階段，利用學習得到的權重，按照自底向上的順序為下一層的訓練提供數據；在Sleep階段，按照自頂向下的順序利用權重對數據進行重組。

DBNs是目前研究和應用都比較廣泛的深度學習結構，由於靈活性很好，因此比較容易拓展，例如卷積DBNs就是DBNs的一個拓展，給語音信號處理問題帶來了突破性的進展。DBNs作為一個新興的生成模型，已廣泛應用到了對象建模、特徵提取、識別等領域。