中國製造Bitmain進軍深度學習晶元市場、時裝界MNIST資料庫發布

最新 08-30

大數據文摘作品，轉載要求見文末

作者 | 寧雲州、錢天培

了解過去一周AI爆點，一篇就夠了！

從本周起，大數據文摘將在每周二為你帶來AI大事件專欄，總結過去一周中AI屆的熱點。

過去的一周中AI圈都發生了什麼？大佬們互撕了哪些問題？研究者們發布了哪些值得一讀的論文？又有哪些開源的代碼和資料庫可以使用了？

就讓文摘菌為你盤點上周的AI大事件吧~

新聞

微軟發布深度學習加速平台Brainwave，欲實現實時AI

Brainwave是一個基於FPGA的深度學習系統，能夠實現高度靈活的雲端深度學習。它由三個處理層組成：一個高性能、分散式的系統架構，一個整合在FPGA上的硬體DNN引擎，和一個為實現訓練模型平整部署的編譯器和運行環境。

中國晶元製造商Bitmain進軍深度學習晶元市場

來源：QZ.COM

Bitmain作為比特幣挖掘晶元開發商而為人熟知。如今，Bitmain計划進入深度學習晶元市場，欲與Google，Nvidia和AMD搶一杯羹。

文章&教程

如何在TensorFlow上訓練一個簡單的語音識別網路

來源：WWW.TENSORFLOW.ORG

這個教程為你展示了如何構建一個能夠識別十個不同單詞的基本語音識別網路。在完成這個教程之後，你將有能力構建一個語音識別模型，將一秒鐘的音頻片段歸類為空白、未知單詞或十個目標單詞中的一個。

鏈接：https://www.tensorflow.org/versions/master/tutorials/audio_recognition?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

我在谷歌大腦的一年

來源：COLINRAFFEL.COM

這篇文章記錄了Colin Raffel參加「谷歌大腦」實習項目的個人經歷。這篇文章描述了實習期的概況，並詳細介紹了Colin參與的一些研究項目。

鏈接：http://colinraffel.com/blog/my-year-at-brain.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

物理學如何與機器學習交叉？

來源：JAAN.IO

物理學和機器學習是錯綜複雜地聯繫在一起的，但是使兩者恰好互相促進是很難的。如果你有物理背景，又想進入機器學習領域，這篇文章非常適合你。

鏈接：https://jaan.io/how-does-physics-connect-machine-learning/?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

教程：集成學習提高機器學習效果

來源：BLOG.STATSBOT.CO

集成學習可以通過組合多個模型改善機器學習的結果。與單一模型相比，這種方法能夠達成更好的預測。

鏈接：https://blog.statsbot.co/ensemble-learning-d1dcd548e936?gi=fafcb901f46&utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

深度學習合成Siri語音：設備端深度混合密度網路在混合單元選擇合成中的應用

來源：MACHINELEARNING.APPLE.COM

Siri是一個使用語音合成進行通信的私人助理。從iOS 10開始，Siri的聲音合成中使用了深度學習技術，這使得它的聲音更自然，更流暢，更有個性。這篇文章詳細介紹了Siri語音背後的深度學習技術。

鏈接：https://machinelearning.apple.com/2017/08/06/siri-voices.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

代碼，項目&數據

Google的語言命令資料庫

來源：RESEARCH.GOOGLEBLOG.COM

此資料庫由65，000段時長一秒的音頻組成，音頻內容是幾千個參與者讀出的30個短詞。這一資料庫有望在將來被持續擴大。

鏈接：https://research.googleblog.com/2017/08/launching-speech-commands-dataset.html?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

平均隨機梯度下降權重丟棄LSTM模型

來源：GITHUB.COM

在這個repo中，你可以找到的長短時記憶網路（LSTM）語言模型論文正則化和最優化的實現代碼。這個模型可被用到PTB和WT2數據集上，用以訓練單詞層面的語言模型。當然了，這個模型也可以被用到很多其他數據集。

鏈接：https://github.com/salesforce/awd-lstm-lm?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

時裝界的MNIST資料庫

來源：GITHUB.COM

這一資料庫由60，000個訓練樣本和10，000個測試樣本組成。每個樣本是一張28x28的灰色時裝圖片，並被標上了一個衣服樣式的標籤。和MNIST資料庫一樣，這個資料庫有10個標籤。這個數據集有望取代MNIST成為檢驗深度學習演算法性能的新標準。

鏈接：https://github.com/zalandoresearch/fashion-mnist?utm_campaign=Revue%20newsletter&utm_medium=Newsletter&utm_source=The%20Wild%20Week%20in%20AI

爆款論文

深度強化學習概述（A Brief Survey of Deep Reinforcement Learning）

來源：ARXIV.ORG

在篇文章中，作者首先介紹了跟強化學習有關的一些領域，然後對現在比較主流的兩種方法——基於價值和基於策略的方法進行了深入探討。這篇文章涉及了深度強化學習的核心演算法，包括deep Q-network，信賴域策略優化，和非同步式actor-critic方法。同時，作者強調了深度神經網路的獨特優勢——通過強化學習進行視覺理解。

鏈接：https://arxiv.org/pdf/1708.05866.pdf

雙子網：把未來當作正則化矩陣（Twin Networks: Using the Future as a Regularizer）

來源：ARXIV.ORG

在本文中，作者介紹了一種簡單的使用RNNs規劃未來的方法。為了達到這個目標，他們引入另外一個訓練過的神經網路，並且與原神經網路順序相反。雙子網的核心思想是使得向前和向後的RNNs在預測同樣的狀態時達到擬合。在每一步的預測中，正向神經網路預測的狀態需要匹配後向神經網路之中包含的未來信息。

鏈接：https://arxiv.org/pdf/1708.06742.pdf

用於廣告點擊預測的深度交叉網路

來源：ARXIV.ORG

DNNs能夠自動學習特徵之間的相互作用；然而，DNNs學習的是所有隱式的相互作用，而不是對結果有效的所有相互作用。

在這篇文章中，作者提出了深度交叉網路（DCN），不但保留了DNNs的優勢，還提出了一種新型的交叉網路，學習有一定限度的特徵相互作用更有效。

鏈接：https://arxiv.org/pdf/1708.05123.pdf

視頻

批判性看待從生成模型中學習層次特徵