人工智慧–深度學習

人工智慧之深度學習(DL)

摘要：深度學習發展引起其他它領域的革命。深度學習的火熱得益於各行各業豐富的大數據發展和計算機計算能力的提升。深度學習是用多層次的分析和計算手段，得到結果的一種方法。當然，機器學習本身也不完美，仍有大量工作要研究。

通過上一篇文章《人工智慧之機器學習(ML)》，我們清楚地認識到人工智慧（AI）是一門科學，機器學習(ML)是目前最主流的人工智慧實現方法，而深度學習（DL）則是機器學習(ML)的一個分支，也是當下最流行的機器學習(ML)的一種。

深度學習在機器學習領域是一個很熱的概念，經過媒體和大V等炒作，這個概念變得近乎有些神話的感覺，下面讓我來慢慢揭開深度學習的神秘面紗。^_^

深度學習（DeepLearning）的概念由Hinton等人於2006年提出。基於深度置信網路(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關係減少參數數目以提高訓練性能。

那麼究竟什麼是深度學習呢?

深度學習（DL）是機器學習中一種基於對數據進行表徵學習的方法，是一種能夠模擬出人腦的神經結構的機器學習方法。深度學習的概念源於人工神經網路的研究。而人工神經網路ANN（Artificial Neural Network）是從信息處理角度對人腦神經元網路進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網路，簡稱為神經網路或類神經網路。因此，深度學習又叫深層神經網路DNN（Deep Neural Networks），是從之前的人工神經網路ANN模型發展而來的。

深度學習是機器學習研究中的一個新領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據，比如圖像，聲音和文本等。深度學習，能讓計算機具有人一樣的智慧，其發展前景必定是無限的。

同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分．不同的學習框架下建立的學習模型很是不同．例如，卷積神經網路（Convolutionalneural networks，簡稱CNNs）就是一種深度的監督學習下的機器學習模型，而深度置信網（DeepBelief Nets，簡稱DBNs）就是一種無監督學習下的機器學習模型。

深度學習所涉及的技術主要有：線性代數、概率和資訊理論、欠擬合、過擬合、正則化、最大似然估計和貝葉斯統計、隨機梯度下降、監督學習和無監督學習、深度前饋網路、代價函數和反向傳播、正則化、稀疏編碼和dropout、自適應學習演算法、卷積神經網路、循環神經網路、遞歸神經網路、深度神經網路和深度堆疊網路、LSTM長短時記憶、主成分分析、正則自動編碼器、表徵學習、蒙特卡洛、受限波茲曼機、深度置信網路、softmax回歸、決策樹和聚類演算法、KNN和SVM、生成對抗網路和有向生成網路、機器視覺和圖像識別、自然語言處理、語音識別和機器翻譯、有限馬爾科夫、動態規劃、梯度策略演算法和增強學習（Q-learning）等等。

討論深度學習，肯定會講到「深度（Depth）」一詞，「深度」即層數。從一個輸入中產生一個輸出所涉及的計算可以通過一個流向圖(flowgraph)來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節點表示一個基本的計算以及一個計算的值，計算的結果被應用到這個節點的子節點的值。考慮這樣一個計算集合，它可以被允許在每一個節點和可能的圖結構中，並定義了一個函數族。輸入節點沒有父節點，輸出節點沒有子節點。這種流向圖的一個特別屬性是深度(depth)：從一個輸入到一個輸出的最長路徑的長度。

深度超過8層的神經網路才叫深度學習。含多個隱層的多層學習模型是深度學習的架構。深度學習可以通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現數據的分散式特徵表示。

深度學習的」深度「是指從」輸入層「到」輸出層「所經歷層次的數目，即」隱藏層「的層數，層數越多，深度也越深。所以越是複雜的選擇問題，越需要深度的層次多。除了層數多外，每層」神經元「-黃色小圓圈的數目也要多。例如，AlphaGo的策略網路是13層,每一層的神經元數量為192個。

深度學習可通過學習一種深層非線性網路結構，實現複雜函數逼近，表徵輸入數據分散式表示，並展現了強大的從少數樣本集中學習數據集本質特徵的能力。多層的好處是可以用較少的參數表示複雜的函數。

深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特徵，從而最終提升分類或預測的準確性。因此，「深度模型」是手段，「特徵學習」是目的。深度學習強調了模型結構的深度，突出了特徵學習的重要性，通過逐層特徵變換，將樣本在原空間的特徵表示變換到一個新特徵空間，從而使分類或預測更加容易。與人工規則構造特徵的方法相比，利用大數據來學習特徵，更能夠刻畫數據的豐富內在信息。

深度學習的訓練過程：

1）自下上升非監督學習，從底層開始，一層一層的往頂層訓練。採用無標定數據（有標定數據也可）分層訓練各層參數，這是一個無監督訓練過程，是和傳統神經網路區別最大的部分，這個過程可以看作是feature learning過程。

2）自頂向下的監督學習，通過帶標籤的數據去訓練，誤差自頂向下傳輸，對網路進行微調。基於第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一個有監督訓練過程。

深度學習的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果。所以深度學習效果好很大程度上歸功於第一步的feature learning過程。

對深度學習而言，訓練集就是用來求解神經網路的權重的，最後形成模型；而測試集，就是用來驗證模型的準確度的。

深度學習領域研究包含：優化（Optimization），泛化（Generalization），表達（Representation）以及應用（Applications）。除了應用（Applications）之外每個部分又可以分成實踐和理論兩個方面。

根據解決問題、應用領域等不同，深度學習有許多不同實現形式：卷積神經網路（ConvolutionalNeural Networks）、深度置信網路（DeepBelief Networks）、受限玻爾茲曼機（RestrictedBoltzmann Machines）、深度玻爾茲曼機（Deep BoltzmannMachines）、遞歸自動編碼器（RecursiveAutoencoders）、深度表達（DeepRepresentation）等。

深度學習的優點：深度學習提出了一種讓計算機自動學習出模式特徵的方法，並將特徵學習融入到了建立模型的過程中，從而減少了人為設計特徵造成的不完備性。而目前以深度學習為核心的某些機器學習應用，在滿足特定條件的應用場景下，已經達到了超越現有演算法的識別或分類性能。

深度學習的缺點：只能提供有限數據量的應用場景下，深度學習演算法不能夠對數據的規律進行無偏差的估計。為了達到很好的精度，需要大數據支撐。由於深度學習中圖模型的複雜化導致演算法的時間複雜度急劇提升，為了保證演算法的實時性，需要更高的並行編程技巧和更多更好的硬體支持。因此，只有一些經濟實力比較強大的科研機構或企業，才能夠用深度學習來做一些前沿而實用的應用。

深度學習成功應用於計算機視覺、語音識別、記憶網路、自然語言處理等其他領域。

深度學習是關於自動學習需要建模的數據潛在分布的多層表達的複雜演算法。深度學習演算法自動的提取分類需要的低層次或者高層次特徵。總之，深度學習是用多層次的分析和計算手段，得到結果的一種方法。

結語

目前深度學習的發展引起其他它領域的革命。深度學習的火熱得益於各行各業豐富的大數據發展和計算機計算能力的提升，同時也要歸功於過去經驗。今後深度學習將繼續解決各種識別（Recognition）和演繹（Ability to Act）方面的相關問題。當然，機器學習本身也不是完美的，也不是解決世間任何機器學習問題的利器，深度學習目前仍有大量工作需要研究，不應該被放大到一個無所不能的程度。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！