深度學習知識脈絡初探
------------內 容------------
1.深度學習的歷史
1.1 深度學習背景
1.2 深度學習四大天王
2.深度學習知識脈絡
2.1 線性回歸
2.2 非線性回歸
2.3 神經網路
3.機器學習應用場景
3.1 分類問題
3.2 目標探測
3.3 自動駕駛
3.4 語句生成
3.5 圖片標註
--------------------------------
1.深度學習的歷史1.1 深度學習背景
可以說是Alpago將深度學習推上了新的熱點，普及了這個概念，實際上深度學習的歷史可謂是悠久，可以追溯到上個世紀：
20世紀40年代~60年代，深度學習的代名詞是控制論；
20世紀80年代，深度學習的名詞是連接機制；
1990年，比較有影響力的是 Yann Lecun 關於CNN（卷積神經網路）文章；
1997，IBM 的深藍（Deep Blue）國際象棋系統在 1997 年擊敗了世界冠軍Garry Kasparov。
2009年，ImageNet（目前世界上圖像識別最大的資料庫）大型分類數據集發布；
2012年，AlexNet提出GPU訓練的深度學習網路，獲得ImageNet冠軍；
2016年，Google DeepMind圍棋程序Alhpa Go戰勝人類頂尖選手；
1.2 深度學習四大天王
1.Geoffrey Hinton
多倫多大學的特聘教授，Google AI團隊領軍人（左邊第二個是Hinton），Hinton在人工智慧領域中無人不知無人不曉是因為其在人工神經網路(Artificial Neural Networks)中所作出的貢獻，Hinton和他的團隊強力將「神經網路」從垂死邊緣一步步帶入到當今的研究與應用的熱潮，變成了炙手可熱的的學術界課題，將「深度學習」從邊緣課題變成了Google等互聯網巨頭仰賴的核心技術。目前神經網路與深度學習已在自然語言處理、語音處理以及計算機視覺等領域中得到了空前廣泛與成功地應用。
2.Yann Lecun
紐約大學終身教授，Facebook AI實驗室負責人，Lecun在多倫多大學隨Hinton讀博士後，沒錯，他是Hinton的學生，另一個神經網路與深度學習大拿。他在皮埃爾瑪麗居里大學攻讀計算機科學博士學位期間提出後向傳播演算法。在加盟Facebook之前，Lecun已在貝爾實驗室工作超過20年，期間他開發了一套能夠識別手寫數字的系統，叫作LeNet，用到了卷積神經網路(Cnvolutional Neural Networks, CNN)，已開源。他研發了很多關於深度學習的項目，並且擁有14項相關的美國專利。他甚至開發了一種開源的面向對象編程語言Lush，比Matlab功能還要強大，並且也是一位Lisp高手。他在機器學習、深度學習、計算機視覺、計算神經科學領域進行了深度研究。
3.Yoshua Bengio
蒙特利爾大學終身教授，CIFAR項目負責人
他是ApSTAT技術的發起人與研發大牛。他也是蒙特利爾大學(Université de Montréal)的終身教授，任教超過22年，是機器學習實驗室(MILA)的負責人，是CIFAR項目的負責人之一，負責神經計算和自適應感知器等方面。
4.Andrew Ng
斯坦福大學副教授，曾就職於谷歌，百度
2.深度學習知識脈絡
之前斷斷續續零零碎碎，聽過很多概念，CNN,增強學習、對抗網路、知識學習等等，很多都是離散的、不連貫的，高大上的辭彙聽完後，根本就消化不了。實際上，概念和概念之間是有聯繫的，這個關聯關係也很少有人跟我們講， 因此，學習起來非常迷茫。這裡有一張圖片我覺得非常好，能很好的表示出深度學習各個知識點之間的關係。
接下來，我用自己的一些淺薄理解，來解析這些概念以及概念之間的關聯關係。
2.1 線性回歸
1.線性回歸概念
回歸，其實是一種解題方法，是根據結果推出原因的方法。在機器學習領域，最常用的回歸有2種：線性回歸和非線性歸回。那什麼是線性回歸，字面上不不是很好理解，那好，換個方式表達，方程，總知道吧，就是這個玩意:y = ax + b,輸入一個數x，就可以對應出一個y來了。所謂線性回歸就是給你一堆數據，你不管用什麼方法，給我用方程給我表示出來，這一堆數據，通過方程式表達的越精準越好，這個弄出一個y=ax+b這樣一個方程的過程，就是線性回歸。到計算機領域，這樣的y=ax+b換個好聽點的名字就是模型。實際上，還有很多的場景並不是線性回歸模型可以表達出來的，它是非線性的。因此為了表示這些非線性的東西，就在線性的基礎之上加上非線性的激勵，這樣就可以表示出非線性的了。
如何根據一堆數據計算出一個線性的方程，一般可以用最小二乘法、或者梯度下降法梯度下降法的原理：假設給出一個係數，然後擬合出來一個模型，再給一個x得出一個y，讓y去和真實的值去比較，然差距做到最小。
2.2 非線性回歸
線性回歸只能解決線性問題，實際很多問題是非線性的，非線性的就要加一些非線性激勵，從而解決非線性的問題，進行非線性擬合，一個方程只要是可到的，存在梯度，就可以用梯度下降方法擴展到神經網路中。
非線性回歸=線性回歸+非線性激勵
2.3 神經網路
這個常用的CNN，RNN,神經網路，神經元，計算過程中是簡單的
CNN：卷積神經網路，運算在空間上擴展，就是卷積神經網路
RNN: 遞歸神經網路，運算在實踐上擴展，遞歸神經網路，可以記住前一刻，但是記不住更前的傳統神經網路只考慮當前狀態，遞歸還要考慮上一個或者之前的狀態
LTSM:可以考慮好久好久之前的，考慮的更久更多，記憶量更多了。
CNN：主要是做圖像相關的例子，
目標分類：互聯網是做目標分類，給你一個圖片，告訴我是什麼東西，是貓還是狗，是直接生成，你給它數據，給神經網路的模型，就可以得到目標的
在基礎模型之上，進行遷移學習，人臉識別、物品識別、場景識別、文字識別
目標檢測：或者目標探測，給圖片，很多時候圖片的質量是很不好的
如給你一個有人物的圖片，你去找人在哪個地方，安防，自動駕駛，探測什麼東西在什麼地方
RNN的擴展：是帶有時間域屬性的，時域相關的用RNN效果很好，如人的說話，在時域就用的非常好，有前後的時間關係，可以理解時間概念上的行為，可以直接用於NLP，不管是語氣、翻譯、閱讀理解，AI等都依賴這樣的模型。
CNN和RNN是可以結合的，有些任務既有空間的信息也有時間的信息，如視頻，有前後依賴的關係，想知道圖片的關係還想知道圖片與圖片之間的關係，就可以結合,或者用CNN提取特徵作為LSTM的輸入，得到輸入或者用LSTM提取，送給CNN來處理，這樣結合起來
生成對抗網路:也是用CNN的東西，生成一張圖片，判斷是不是生成對的，然後用CNN來判斷生成的是不是正確的
判別網路：用來判斷圖片是生成的，還是不是生成的，有些任務就是用來生成，有些可以用於別的
增強學習：模擬人類思考的過程，模擬行為的工具，如遊戲超級瑪麗做不同的動作就有不同的分數，分數作為反饋來做訓練，某個場景下做什麼行為是最好的
人工神經網路和LSTM結合，有時間、空間信息，就可以做文章，如看圖說話
用一句話概括這個圖片，這就是自然語言處理的過程，就是CNN的東西，看圖說話.
對抗網路，可以生產大量的圖片，用新圖片來訓練模型,識別搜索，視屏分類，做的好，就不用再文本的搜索了，直接用視頻就可以進行搜索了
3.機器學習應用場景3.1 分類問題
對未知的目標對象進行識別，常見的場景如人臉識別、物品識別、文字識別等
3.2目標探測
1）RCCNN系列
特徵是有大量的候選區域、基於區域特徵提取、種類確定位置回歸；產生大量的候選區域，一個一個的去試，用強大的識別能力去處理、計算出是什麼東西，速度會差一個量級
1）SSD
無需候選區域，提前分割好，自適應調整；種類確定位置回歸，這個識別的速度會更快一點
3.3 自動駕駛
自動駕駛也是深度學習的經典應用場景，自動駕駛需要對周邊的情進行識別，如果只用二維圖像是不靠譜，再結合三維的視頻來結合判斷，激光雷達，三維對空間感覺更好，二維的圖片+三維的激光雷達；二維圖片擅長什麼東西在什麼地方，三維擅長對距離的計算無人駕駛車輛定位的問題 ，這個要結合起來判斷真實空間。
3.4 語句生成
卷積神經網路RNN用於語句生成，自然語言處理比較基本的演算法sequence2sequence。語句生成的一般步驟都是以單詞為單位，通過訓練，輸出下一個單詞，形成一個詞，詞和詞之前通過學習和演算法，生成下一個詞。比如：
How are you ，在訓練過程中，不是直接how are you 給你，i am fine就出來了。而是
1）先來一個I作為輸入，然後am形成輸出，
2）I am 是輸入，fine是輸出，是這樣一個過程
有個前提，產生第一個詞，第一個詞再作為輸入，產生第二個詞，直到最後結束
再提一下另一個word2vec演算法：把所有的句子，抽象成vec，每個單詞有個vec，然後將單詞vec輸進去，輸出新的vec，變成新的句子。不是把string輸入，而是抽象成特徵，word2vec特徵，著名的句子就是智能對話系統，如siri
3.5 圖片標註
這是RNN和CNN結合起來的應用，具體一點：看圖片，就知道這個圖片發生了什麼事情，用。方法是特徵和語言特徵進行融合，得到新的特徵，訓練，得出這個圖片的內容是在幹什麼用語言描述和圖片進行訓練，圖片變成1000維的向量。
本文內容來源於互聯網，由梅峰谷編輯和整理，更多大數據、機器學習、人工智慧資料，請關注公眾號，二維碼如下
TAG:大數據梅峰谷 |