機器學習流行趨勢一覽

你用過 Google Trends 嗎？相當酷，輸入一些關鍵詞，然後能看到它們在谷歌中的搜索趨勢變化。剛好 arxiv-sanity 論文資料庫在過去 5 年內有 28303 份機器學習相關論文，所以我想，為什麼不做一些類似的事情，來看看機器學習研究在過去 5 年是如何進展的？結果相當有趣，所以我想我該寫篇文章分享一下。

註：機器學習是一個大領域。本文偏重的領域是深度學習——這是我最熟悉的一個分區。

arxiv 奇點

讓我們首先看下，在 arxiv-sanity 上（cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML）的論文提交總數，見下圖：

是的， 2017 年 3 月這些領域差不多提交了 2000 份論文。峰值可能與會議（比如 NIPS/ICML）的截止日期有關。注意，這裡並不能說明該領域本身論文數量規模，因為並不是所有人都會把論文提交到 arxiv ，而且研究人員對一部分論文的分類會隨時間變化。但值得指出的是，這些領域有大量的論文。

把論文的總數作為分母。我們現在可以看下這部分論文包含了哪些我們感興趣的特定關鍵詞。

深度學習框架

先預熱下，讓我們看看正在使用的那些深度學習框架。計算這個值時，在整篇論文中任何地方（包括提到的參考書目書名等）提到深度學習框架的這部分論文都被記錄在內。對上傳於 2017 年 3 月的這部分論文，我們得到如下結果：

也就是說，2017 年 3 月提交的論文中有 10% 提到了 TensorFlow 。當然，不是每篇論文都聲明了它使用的框架，但如果我們假定那部分聲明了該框架的論文，對框架使用有一個比較固定概率的話，那麼大約 40% 的社區目前正在使用 TensorFlow （甚至更多，如果你把帶 TF 後端的 Keras 也算上）。下圖可以看出一些比較流行的框架是如何隨時間演變的：

我們可以看到 Theano 已經出現一段時間了，但是它的增長几乎停滯。Caffe 在 2014 年急速猛增，但是在過去幾個月被 TensorFlow 趕超。Torch（以及最近的 PyTorch）也在攀升，雖緩慢但穩定。接下來幾個月的發展會很有趣——我個人的猜測是 Caffe/Theano 會繼續有一個緩慢的下降，以及由於 PyTorch 的出現， TF 的增長會稍微變得緩慢。

ConvNet 模型

就樂趣而言，我們何不來看下常見的 ConvNet 模型？這裡，我們清楚地看到 ResNets 有一個巨大的攀升：2017 年 3 月它們出現在 9% 的論文中：

還有，在 InceptionNet 之前誰在討論inception？我對此表示好奇。

優化演算法

在優化演算法方面，看起來 Adam 連連獲勝，2017 年 3 月 23% 的論文中都出現了它！實際的使用比例很難估測；它可能高於 23%，因為一些論文沒有聲明優化演算法，而且很大一部分論文可能甚至沒有優化任何神經網路。然後它還可能就是 5% 左右，因為 Adam 在 2014 年 12 月才發布，並且可能與論文作者名字衝突。

研究者們

我還好奇深度學習領域重要人物的提及情況，因此作出下圖（這有點類似於論文引用量計數，但是： 它比論文的「0/1」計數更穩定， 對總範圍進行了標準化。

值得注意的幾點：提交的論文中有 35% 提到了「bengio」，這裡有兩個 Bengio : Samy Bengio 和 Yoshua Bengio，我們做了合并。 Geoff Hinton 出現的比例超過 30%！看起來很高。

熱點或非熱點關鍵詞

最後，我們不去對關鍵詞做手動分類，而是看一下熱點（hot）或者非熱點的關鍵詞。

Top hot keywords 排前列的熱點關鍵詞

對此有多種定義，但是這次嘗試中我查看了所有論文中每個 unigram（單個 word ）或 bigram （ 雙 word ），並記錄了相比於去年最大使用量的比例。高於這個比例，就是去年有較大潛力但是今年表現出更高的相對頻率。熱點關鍵詞排名結果如下：

舉例來說， ResNet 的比例是 8.17，因為 1 年前（ 2016 年 3 月——最大使用量的月份）它在所有提交的論文中出現的比例是 1.044% ，而上月（ 2017 年 3 月）是 8.53% ， 8.53 / 1.044 ~= 8.17。

所以可以從上圖看到，過去一年盛行的核心創新是：1) ResNets、2) GANs,、3) Adam、4) BatchNorm。在研究中多使用這些模型。

在研究興趣方面，我們看到的是 1)風格轉換、2) 深度強化學習、3) 神經網路機器翻譯 (「nmt」)，以及 4) 圖像生成 。

在架構上，熱點使用是 1) 全卷機網路 ( FCN )、2) LSTMs / GRUs 、3) Siamese 網路，以及 4) 編碼器-解碼器網路。

非熱詞

在相反的方面呢？有哪些詞過去一年有較少的提交，但是歷史上較高。以下列舉了一些：

我不確定 「fractal」 指什麼，但是一般來說看起來像是貝葉斯非參數受到攻擊。

結論

現在提交的論文主題應該是圍繞全卷積編碼器解碼器 BatchNorm ResNet GAN（ Fully Convolutional Encoder Decoder BatchNorm ResNet GAN ）應用於風格轉換，用 Adam 進行優化。這聽起來似乎沒那麼不著邊際。

（編譯：伯樂在線/技術最前線 - 鄭芸，英文：Andrej Karpathy）

看完本文有收穫？請轉發分享給更多人

關注「大數據與機器學習文摘」，成為Top 1%

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！