「值得收藏的深度學習思維導圖」全面梳理基本概念與11大模型關係

1新智元編譯

深度學習11大概念：激活函數、反向傳播演算法、學習率、梯度下降等

概念一節下分為激活函數：反向傳播演算法、學習率、梯度下降和損失（最小化）目標（最大化）函數。

1. 激活函數。它根據一個輸入或輸入集，定義輸出。主要有7大類：Relu、Sigmold/Logistc、Binary、Tanh、Softplus、Softmax、Maxout，當然還有其他。

2. 反向傳播演算法

這是在人工神經網路用於計算每個神經單元在接受一批數據後帶來的誤差的影響的一種方法，它計算損失函數的梯度，通常在梯度下降優化演算法中使用。它也被稱為誤差的反向傳播，因為誤差是在輸出中進行計算，然後通過神經網路曾反向分布。

3. 學習率

神經網路通常根據權重由梯度下降進行訓練。這意味著，我們會使用反向傳播來計算損失函數的誤差，與每個權重進行對比，將之從權重中減掉。然而，如果你真的嘗試了，權重將會變化太多，每次迭代，這將使他們「過度糾正」，損失實際上會增加/派生。所以在實踐中，人們通常將每個派生乘以一個稱為「學習率」的小值，然後將其從相應的權重中減去。

4. 梯度下降

是用於查找函數最小值的一階迭代優化演算法。為了使用梯度下降找到函數的局部最小值，人們會在當前點向負數面調整函數的梯度（或近似梯度），如果相反，如果朝正數方向進行調整，則接近該函數的局部最大值。該程序隨後被稱為梯度上升。

5.權重初始化，分為三種：全零初始化、少量隨機數字初始化和變數校準初始化。

6. 神經單元

7. 輸入層

8. 隱藏層

9. 巴斯正則化

10. 梯度下降和損失（最小化）目標（最大化）函數

11. 正則化

架構：LSTM、GAN、Auto-ENcoder、CNN、RNN

架構這一部分，列舉了LSTM、GAN、Auto-ENcoder、CNN、RNN和具體策略，其中策略部分又包括參數初始化和優化。

1. 前向

是一種人造神經網路，其中單元之間的連接不形成循環。在這個網路中，信息只從一個方向移動，從輸入節點向前移動，通過隱藏節點（如果有的話）和輸出節點。網路中沒有周期或循環。

2. LSTM

3. GAN

4. Auto-Encoder

這是一種人工神經網路，用於無監督學習有效地編碼。

5.CNN（卷積神經網路），它們被用於圖像和視頻中，可以進行識別、推薦系統和自然語言處理。

6. RNN（循環），可以使用網路內部的記憶，來處理連續的輸入。

7.RNN（遞歸）

7. 策略：參數初始化和優化

TensorFlow

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！