深度學習中常見概念
批量，即Batch，是深度學習中的一個重要概念。批量通常指兩個不同的概念——如果對應的是模型訓練方法，那麼批量指的是將所有數據處理完以後一次性更新權重或者參數的估計；如果對應的是模型訓練中的數據，那麼批量通常指的是一次輸入供模型計算用的數據量。
基於批量概念的模型訓練通常按照如下步驟進行：
初始化參數
重複以下步驟
●處理所有數據
●更新參數
和批量演算法相對應的是遞增演算法，其步驟如下：
初始化參數
重複以下步驟
●A.處理一個或者一組數據點
●B.更新參數。
這裡的主要區別是批量演算法一次處理所有的數據；而在遞增演算法中，每處理一個或者數個觀測值就要更新一次參數。在後向傳播演算法中，「處理」對應的具體操作就是計算損失函數的梯度變化曲線。如果是批量演算法，則計算平均或者總的損失函數的梯度變化曲線；而如果是遞增演算法，則計算損失函數僅在對應於該觀測值或者數個觀測值時的梯度變化曲線。「更新」則是從已有的參數值中減去梯度變化率和學習速率的乘積。
在線學習和離線學習
在深度學習中，另外兩個常見的概念是在線學習和離線學習。在離線學習中，所有的數據都可以被反覆獲取，比如上面的批量學習就是離線學習的一種。而在在線學習中，每個觀測值在處理以後會被遺棄，同時得到更新。在線學習永遠是遞增演算法的一種，但是遞增演算法卻既可以離線學習也可以在線學習。
離線學習有如下幾個優點：
對於任何固定個數的參數，目標函數都可以直接被計算出來，因此很容易驗證模型訓練是否在朝著所需要的方向發展。
計算精度可以達到任意合理的程度。
可以使用各種不同的演算法來避免出現局部最優的情況
可以採用訓練、驗證、測試三分法對模型的普適性進行驗證
可以計算預測值及其置信區間
在線學習無法實現上述功能，因為數據並沒有被存儲，不能反覆獲取，因此對於任何固定的參數集，無法在訓練集上計算損失函數，也無法在驗證集上計算誤差。這就造成在線演算法一般來說比離線演算法更加複雜和不穩定。但是離線遞增演算法並沒有在線演算法的問題，因此有必要理解在線學習和遞增演算法的區別。
偏移/閾值
在深度學習中，採用sigmoid激活函數的隱藏層或者輸出層的神經元通常在計算網路輸入時加入一個偏移值，稱為Bias。對於線性輸出神經元，偏移項就是回歸中的截距項。 跟截距項的作用類似，偏移項可以被視為一個由特殊神經元引起的鏈接權重，這是因為偏移項通常鏈接到一個取固定單位值的偏移神經元。比如在一個多層感知器神經網路中，某一個神經元的輸入變數為N維，那麼這個神經元在這個高維空間中根據參數畫一個超平面，一邊是正值，一邊為負值。所使用的參數決定了這個超平面在輸入空間的相對位置。如果沒有偏移項，這個超平面的位置就被限制住了，必須通過原點；如果多個神經元都需要各自的超平面，那麼就嚴重限制住了模型的靈活性。這就好比一個沒有截距項的回歸模型，其斜率的估計值在大多數情況下會大大偏移最優估計值，因為生成的擬合曲線必須通過原點。因此，如果缺少偏移項，多層感知器的普適擬合能力就不存在了。 通常來說，每個隱藏層和輸出層的神經元都有自己的偏移項。但是如果輸入神經已經被等比例轉換到一個有限值域中，比如[0,1]區間，那麼等第一個隱藏層的神經元已經設置過偏移項以後，後面任何層跟這些具備偏移項的神經元有鏈接的其他神經元就不需要再額外設置偏移項了。
標準化數據 在機器學習和深度學習中，常常會出現對數據標準化這個動作。那麼什麼是標準化數據呢？其實這裡是用「標準化」這個詞代替了幾個類似的但又不同的動作。
下面詳細講解三個常見的「標準化」數據處理動作。
（1）重放縮：通常指將一個向量加上或減去一個向量，再乘以或者除以一個常亮。比如將華氏溫度轉換成攝氏溫度就是一個重放縮的過程。
（2）規範化：通常指將一個向量除以其範數，比如採用歐式空間距離，即用向量的方差作為範數來規範化向量。在深度學習中，規範化通常採用極差為範數，即將向量減去最小值，併除以其極差，從而使數值範圍在0和1之間。
（3）標準化：通常指將一個向量移除其位置和規模的度量。比如一個服從正態分布的向量，可以減去其均值，併除以其方差來標準化數據，從而獲得一個服從標準正態分布的向量。
本文轉載自：zgljl2012: http://www.zgljl2012.com/shen-du-xue-xi-zhong-chang-jian-gai-nian/
權威發布有關Imagination公司CPU，GPU以及連接IP、無線IP最新資訊，提供有關物聯網、可穿戴、通信、汽車電子、醫療電子等應用信息，每日更新大量信息，讓你緊跟技術發展，歡迎關注！伸出小手按一下二維碼我們就是好朋友！
