AI與深度學習-2017年總結

2017年AI界出現了很多進展，雖說沒有像之前CNN、RNN、GAN出現時的轉折，但也有很大的突破，特別是當Alpha Zero出現，強化學習的地位一下子飛升。下面將從演算法、模型、框架以及數據出發，簡單總結一下2017年的動態。

No.1演算法

強化學習當屬2017年的重頭戲，從AlphaZero出現並戰勝AlphaGo開始引爆。AlphaGo是基於歷史數據進行有監督學習，進階版本的Alpha Master是通過self-learning自己與自己對戰不斷提升得到。但AlphaZero是通過強化學習從零開始學習，定義好遊戲規則，演算法中選用兩個Agent，選取policy作用，作用完後得到反饋的reward不斷迭代優化。啟發式的搜索演算法也因為強化學習又一次被關注。目前強化學習僅僅在二人對戰的遊戲中使用，例如Google DeepMind在2017年發布了1v1的Dota2對戰成績，在多人對戰以及多人遊戲仍在繼續研究。有可能在2018年見證Dota2 5v5的機器對戰。

進化演算法作為另一種啟發式的搜索演算法在2017年也得到了突破。一方面由於進化演算法複雜度低，可以在大規模的CPU上進行訓練；另一方面，對於神經網路演算法一般採用梯度下降的方法，如果數據稀疏或者錯誤數據較多會比較麻煩，而進化演算法可以很好地避免這一問題。在2017年底，Uber的一個團隊發布了一篇博客，提出遺傳演算法（GA）的潛力，使用簡單的遺傳決策就能做好遊戲policy（https://eng.uber.com/deep-neuroevolution/）。

No.2模型

模型上的改進值得一提的是Attention Mechanism（注意力機制），各種變型各種應用，最早出現在圖像，後來用於自然語言處理。注意力機制有很多種分類，2017年的主要突破有self-attention，cross-attention，structured-attention等，有興趣的同學可以閱讀相關論文了解詳情。

模型上另外一種改進是引入了強化學習，構建深度強化學習模型。一般是使用深度學習做特徵表達，然後使用強化學習搜索structure，再利用這種比較好的特徵表達再次學習。具體可以參考論文」A Deep Reinforcement LearningChatbot」。

No. 3數據

沒有數據就不能做深度學習，2017年開源的數據主要包括：

Youtube Bounding Boxes

Google QuickDraw Data

DeepMind Open Source Datasets

Google Speech Commands Dataset

Atomic Visual Actions

Several updates to the Open Images data set

Nsynth dataset of annotated musical notes

Quora Question Pairs

No.4深度學習框架

深度學習框架在2017年可謂是飛速發展，最值得一提的是兩個：（1）Facebook等公司聯合發布的Pytorch，相比早前谷歌發布的tensorflow能夠支持動態圖計算，之前版本的tensorflow只能先在python部分定義好網路，然後給backend的C代碼運行，這不能修改網路不能給出網路中間結果，很不方便。感謝Facebook，感謝Pytorch。（2）得益於Pytorch的發布，google估計害怕丟失用戶，立馬修改tensorflow，在2017年尾發布了能夠支持動態圖計算的tensorflow版本。

No. 5業界動態

李飛飛攜手谷歌在中國北京建立谷歌中國區AI研究院；李航加入頭條；Andrew離開百度；百度IDL又引入三位學術界大佬；多家公司的無人駕駛已經上路；谷歌的TPU已經在雲平台可用；阿里部署無人超市等。

當然還存在一些吹噓過頭的，例如IBM的沃森、以及醫療方面的AI助手等。

No. 6強化學習資源

UCL DavidSilver的強化學習課程：http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html

RichardS. Sutton and Andrew G. Barto的強化學習書籍

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！