何愷明ECCV 2018教程：深度學習就是表示學習（41PPT）

新智元AI WORLD 2018世界人工智慧峰會

深度學習即表示學習

機器學習任務的表示（原始）數據：

• 視覺：像素，......

• 語言：字母，......

• 語音：聲波，......

• 遊戲：狀態，......

表示學習：AlphaGo

Bad representations → 模型（神經網路）→ good representations

神經網路的進化

學習表示：通過反向傳播，端到端地學習

LeNet

• 卷積

• 局部連接

• 空間上權重共享（權重分配是DL的關鍵，例如，RNN在時間上共享權重）

• 子採樣

• 完全連接的輸出

• 通過反向傳播訓練

AlexNet

AlexNet 保留LeNet風格的骨架，再加上：

ReLU

• 「RevoLUtion of deep learning」

• 訓練加速; 更好的grad prop（與tanh相比）

Dropout

• 網內集成

• 減少過度擬合

數據增強

• 保留標籤的轉換

• 減少過度擬合

VGG-16/19

「非常深的網路！」

初始化方法

• 歸一化前向/後向信號的分析公式

• 基於強假設（如高斯分布）

GoogLeNet / Inception

GoogLeNet有很多版本，但有3個主要屬性是不變的：

• 多個分支

• 短路連接（shortcut）

• Bottleneck

批量歸一化（BN）

• Xavier / MSRA init不能直接應用於多分支網路

• 優化多分支卷積網路（包括所有Inceptions和ResNets）主要受益於BN

批量歸一化（BN）

Recap：標準化圖像輸入（LeCun等人1998提出的「Efficient Backprop」）

BN：data-driven的標準化，對每一層、每個mini-batch都是如此

• 大大加速訓練

• 對初始化不敏感

• 改進正則化

ResNets

只是簡單地堆疊層嗎？

簡單地堆疊層的網路（Plain nets）堆疊3x3的卷積層，堆到56層的時候比20層的時候訓練誤差和測試誤差都更高。

• 「過於深」的plain nets具有較高的訓練誤差

• 這是在許多數據集都觀察到的一般現象

更深的模型不應該訓練誤差反而更高

通過改善結構的解決方案：

• 原始層：從已學習的淺層模型複製

• 額外層：設置為identity

• 至少保持訓練誤差相同

深度殘差學習

對於Plain net：

H(x) 是任何想要的映射，希望subnet符合H(x)

對於Residual net：

同樣，H(x) 是任何想要的映射，但我們希望subnet符合F(x)，即

H(x) = F(x) + x

在這裡，F(x)是一個殘差映射，與它相關的是identity

• 如果identity是最優的，則容易將權重設置為0

• 如果最佳映射接近identity，則更容易發現小的波動

在CIFAR-10數據集上的實驗

• 深層的 ResNets可以毫無困難地進行訓練

• 更深的ResNets具有更低的訓練誤差，並且還可以降低測試誤差

在ImageNet數據集上的實驗

• 更深的ResNets具有更低的誤差

計算機視覺任務之外，residual connections用於神經機器翻譯（NMT）

residual connections 用於語音合成（WaveNet）

AlphaGo Zero：使用了40個 Residual Blocks

ResNeXt：準確率更高，在各類競賽屢獲冠軍

更多架構：

• Inception-ResNet [Szegedy et al 2017]

• DenseNet [Huang et al CVPR 2017]

• Xception [Chollet CVPR 2017]

• MobileNets[Howard et al 2017]

• ShuffleNet [Zhang et al 2017]

組規範化（GN）

• 與batch size無關

• 對小批量有魯棒性

總結

深度學習是表示學習

http://kaiminghe.com/eccv18tutorial/eccv2018_tutorial_kaiminghe.pdf

新智元AI WORLD 2018世界人工智慧峰會

倒計時4天

門票已開售！

新智元將於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智慧峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

大會官網：

http://www.aiworld2018.com/

• 活動行購票鏈接：

  http://www.huodongxing.com/event/6449053775000

• 活動行購票二維碼：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！