深度學習的過去，現在和未來

深度學習技術最初開始於20世紀40年代，深度學習是為了模擬大腦中發現的神經網路，但在過去的十年中，3個關鍵發展釋放了它的潛力。

深度學習正在爆炸式增長。據Gartner稱，深度學習專家的開放職位數量從2014年的幾乎為零增加到今天的41000。這種增長的大部分是由Facebook，蘋果，Netflix，微軟，谷歌和百度等高科技巨頭推動的。

這些大玩家和其他人在深度學習項目上投入巨資。除聘請專家外，他們還資助深度學習項目和實驗，並收購深度學習相關公司，而這些投資只是開始。Gartner預測，到2018年，80％的數據科學家將使用深度學習工具。

深度學習技術是為了模擬大腦中的生物神經網路，於20世紀50年代與第一台計算機一起出現。因此，如果計算機和深度學習一起開始發展，為什麼深度學習現在才到達主流計算機用戶？

圖形處理單元（GPU）提供的處理能力增加，大量可用數據以及更高級演算法的開發，導致了深度學習的興起。

深度學習的現狀

深入的學習就在我們身邊。它用於確定要實時顯示哪些在線廣告，識別和標記照片中的朋友，將語音翻譯為文本，將文本翻譯成網頁上的不同語言，並驅動自動駕駛車輛等等。

深入學習也可在不太明顯的地方找到。銀行使用深度學習進行欺詐檢測；企業用它來預測你是否會取消訂閱並提供個性化的客戶推薦；銀行利用它來預測破產和貸款風險；醫院使用它來檢測，診斷和治療疾病。

應用範圍幾乎是無限的。其他選項包括文本分析，圖像標題，圖像著色，X射線分析，天氣預報，財務預測等。深度學習已被廣泛用於自動化流程，提高性能，檢測模式並解決問題。

什麼是深度學習？

深度學習屬於人工智慧（AI）子集的機器學習領域。鬆散定義的人工智慧包含模擬人類能力的技術，而機器學習演算法學習並適應新事件。

深度學習是使用人工神經網路（ANN）演算法的技術術語。專家認為深度學習和人工神經網路是相同的，並且可以互換使用這些術語。就像大腦中的神經網路一樣，人工神經網路具有通過突觸（鏈接）相互連接的神經元（節點）。每個節點接收數據，執行操作，並通過鏈接將新數據傳遞給另一個節點。鏈接包含影響下一個節點操作的權重或偏差。

為了說明節點和鏈接的作用，想像一家公司想要預測客戶是否會根據兩個預測因素（性別和年齡）續訂訂閱。該公司的神經網路有兩個輸入節點，一個用於每個預測器，通過單獨的鏈路連接到一個輸出節點。性別和年齡值被輸入到輸入節點。這些值在鏈接中乘以預設權重。如果年齡恰好是比性別更好的預測指標，那麼發送年齡數據的鏈接將具有更高的權重。

輸出節點添加來自輸入節點的加權數據並生成一個值，這相當於一個預測。在這個簡化的示例中，該值可以介於0和1之間。值越接近1，客戶更有可能續訂訂閱。

在一個真實的項目中，人工神經網路可能包含數千個節點和數十億個鏈接。每個節點屬於一個層，它是一組節點。輸入圖層，輸出圖層和兩者之間的圖層被稱為隱藏圖層。添加節點，鏈接和圖層可提高ANN的準確性。

培訓的作用。人工神經網路一旦建成，就需要大量的「訓練」才能很好地工作。未經訓練的人工神經網路將永遠失敗。這是深度學習中的「學習」發揮作用的地方。

數據科學家可以使用有監督或無監督的培訓。在監督訓練下，人工神經網路處理來自測試數據的輸入值併產生輸出值（預測），將其與來自測試數據的實際輸出值進行比較。然後，應用專門設計用於訓練人工神經網路的訓練演算法。有幾種類型的訓練演算法存在，但使用最廣泛的類型稱為反向傳播。反向傳播演算法通過跟蹤輸出節點中的誤差，通過ANN返回隱藏層和輸入層，並相應地改變權重，來識別負責不準確預測的ANN的部分。這個過程一遍又一遍地重複，直到人工神經網路用測試數據產生一致的，準確的預測。然後，ANN準備好處理新的輸入值並預測未知的輸出值。

無監督訓練的目的是模擬數據的結構或分布，而不是產生預測。因此，在無監督訓練下，一旦ANN處理輸入數據，權重不需要改變，因為沒有相應的輸出數據來比較ANN的預測。

深度學習是老技術

啟動AI和深度學習故事的最佳節點是William McCulloch和Walter Pitts。1943年，他們發表了「神經活動內在觀點的邏輯演算」，其中他們概述了神經網路的第一個計算模型。本文作為第一批人工神經網路的藍圖。

六年後，Donald Hebb發表了行為組織，該組織認為神經元之間的聯繫隨著使用而加強。這個概念被證明是理解人類學習和如何培訓人工神經網路的基礎。

1954年，Belmont Farley和Wesley Clark利用McCulloch和Pitts所做的研究，開展了人造神經網路的首次計算機模擬。這些多達128個神經元的網路被訓練來識別簡單的模式。

在1956年夏天，計算機科學家遇到了一個猜測，即學習或任何其他智能特徵的每個方面原則上都可以被精確地描述，以便機器可以被模擬出來。這個被稱為達特茅斯會議的活動被認為是人工智慧的發源地。

在達特茅斯會議之後，人工智慧領域起飛。1957年， Frank Rosenblatt開始研究一種他稱為感知器的神經網路，並能夠將Farley和Clark在他們的雙層網路上使用的訓練方法應用於多層網路。

1959年，Bernard Widrow和Marcian Hoff開發了一種單層神經網路，他們稱ADALINE為自適應線性元素的縮寫，它可以根據先前的位預測來電的下一位信息。他們的下一個發展，稱為MADALINE的多層神經網路，消除了電話呼叫的迴響，據說是ANN的第一個實際應用。

創新在六十年代一直持續，但在七十年代，資金，研究和進步緩慢。人工智慧科學家的成就未能滿足媒體的炒作和政府的期望。接下來的所謂「AI winter」，AI沒有多少資金和研究。

從1986年開始，在Geoff Hinton發表了「反向傳播錯誤的學習表示法」後，幾年後的研究興起，它描述了反向傳播學習過程。然而，真正的復甦直到21世紀中葉才出現。今天，深度學習和人工智慧正在綻放。

那麼，為什麼ANN現在變得有用呢？

有三個因素激發了深度學習的潛力：

1.可用數據的指數爆炸

據思科稱，1992年全球互聯網流量為每天100GB。在2015年，這一數字高達1750萬倍，達到每秒20235 GB。現在，全球90％的數據都是在過去兩年內創建的。

如果沒有這些數據，那麼包含數百萬個連接和數千個節點的訓練ANN就不會發生。對於ANN來識別臉部，檢測信用欺詐或在嘈雜的房間中將語音轉換為文本，它需要的不僅僅是測試數據，以便進行一致，準確的預測。這就是為什麼ANN在大數據時代蓬勃發展的原因。

數據實現人工神經網路的最好和最明顯的例子是由Google X領導的一個項目，它是一個有點秘密的研究和開發團隊。最早由吳恩達（Andrew Ng，後來他加盟百度，任首席科學家；後來離開百度創業）領導，該團隊組裝了16000個中央處理器（CPU），為超過10億個連接的ANN提供動力。

然後，ANN接受了培訓，處理了隨機選擇的YouTube視頻中的1000萬張圖片。據許多消息人士透露，人工神經網路訓練自己識別貓。實際上，ANN中只有一個節點負責識別貓的圖像。其他節點可以識別人體和臉部。二十年前，要收集1000萬張圖像來訓練人工神經網路是不可能的。

2.圖形處理器（GPU）的興起

讓神經網路快速運行是困難的。成千上萬的神經元必須平行相互作用。根據任務的不同，傳統CPU可能需要幾周才能從ANN生成預測。使用GPU時，花費數周的相同任務可能只需幾天或幾小時。

GPU最初是由NVIDIA製造的，用於處理視頻遊戲需要每秒數百次渲染圖像以進行流暢視頻顯示的大規模並行操作。2009年，吳恩達和其他幾個人發現他們可以使用GPU進行大規模的深度學習。

為了說明GPU的強大功能，吳恩達將Google X項目與一個擁有110億個連接的網路一起複制，該網路運行在只有64個GPU的16台計算機上。而以前的項目使用1000台帶有16000個CPU的計算機。新項目沒有跑得太快或表現更好，但吳表達了他的觀點。64個GPU可以在大致相同的時間內處理與16000個CPU相同的工作量。

3.先進演算法的發明

儘管一系列發現提高了人工神經網路的能力，但許多人認為2006年Geoffrey Hinton和他的同事們所做的發現是人工神經網路的轉折點。

Hinton引入了一種演算法，可以微調用於訓練具有多個隱藏層的ANN的學習過程。關鍵是使用「貪婪」演算法或梯度下降演算法，它可以分別微調ANN的每一層。

另一個關鍵發現優化了權重的初始設置。這允許高維數據或具有許多特徵的數據轉換成低維數據，從而提高預測能力。

因為他將多個隱藏層面操作化，因此Hinton被認為是將「深層」帶入了深度學習。據報道，Hinton和他的團隊創造了術語「深度學習」來重塑人工神經網路。在那個時候，許多專業人士和投資人沒有興趣支持人工神經網路，因為他們被認為無利可圖。

影響是什麼？

深度學習技術正在解決高度複雜的問題，由於處理能力更強大，大量可用數據以及更先進的神經網路演算法，這些問題幾十年來一直困擾著計算機科學家。

例如，深度學習被用來改進自然語言處理工具，以便始終理解句子的含義，而不僅僅是單個單詞。所以如果有人想要翻譯"徒步旅行"或"迷路"，它不會從字面上理解表達。它會將表達式翻譯成其他語言的相應表達式。

物體識別軟體將變得更加普遍和準確。例如，面部識別軟體已經在高水平運行。科學家們現在正在訓練深度學習演算法來區分類似的物體，比如茶杯和碗，房子和小木屋，鞋子和靴子。這種精度允許計算機區分街道上的行人，檢測普通物體的異常情況，拼接全景照片，索引圖像等等。

缺點

使用人工神經網路有幾個缺點，即黑盒問題和過度擬合。

黑盒問題是無法知道ANN如何達到預測。用戶可以在輸入和輸出層看到數據，它提供了一個它認為重要的輸入變數的提示。但是，隱藏層掩蓋了預測背後的潛在推理。因此，商業領袖不太可能信任未經測試的人工神經網路，因為他們無法看出它如何得出結論，而不像其他演算法的過程清晰可見。

過擬合（Overfitting）也是人工神經網路常見的問題。過擬合發生在演算法非常適合一組測試數據，以至於無法準確執行非測試數據時發生。這個問題並不是深度學習所特有的，可以在其他類型的機器學習演算法中看到。

應用

數據科學家可以使用許多演算法來檢測底層數據中的模式和關係。深度學習演算法是最強大的演算法，因為它們可以適應各種各樣的數據，需要很少的統計培訓，可以使用簡單的演算法進行學習，並可以擴展到大型數據集。

但是在實際使用中，如果你的項目使用小數據量並解決簡單問題，深度學習是過度的。如果你處理大量數據並需要進行複雜的預測，深度學習技術可能會有所幫助。如果沒有適合你需求的深度學習工具，請繼續等待。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！