三天100：0絕殺「前輩」，AlphaGo Zero為什麼能這麼厲害？

導讀

AlphaGo Zero以100：0的不敗戰績絕殺「前輩」，這一成績的實現僅用了三天，而且是零人類經驗，真是一狗更比一狗強……為AlphaGo Zero打call~

文阿爾法浪

10月19日凌晨，在國際學術期刊《自然》（Nature）上發表的一篇研究論文中，谷歌下屬公司Deepmind報告新版程序AlphaGo Zero：從空白狀態學起，在無任何人類輸入的條件下，它能夠迅速自學圍棋，並以100:0的戰績擊敗「前輩」。

專家稱，「拋棄人類經驗」和「自我訓練」並非AlphaGo Zero最大的亮點，其關鍵在於採用了新的reinforcement learning（強化學習的演算法），並給該演算法帶了新的發展。

AlphaGo Zero究竟有多厲害？

新版本的AlphaGo究竟有多厲害？打敗李世乭的AlphaGo用了3000萬盤比賽作為訓練數據，AlphaGo Zero用了490萬盤比賽數據。經過3天的訓練，AlphaGo Zero就以100：0的比分完勝對陣李世乭的那版AlphaGo。

世界頂尖棋手的養成，動輒需要數十年的訓練、磨礪。但AlphaGo Zero創造了一個紀錄：3天。

研究論文中稱，在數百萬局自我對弈後，隨著程序訓練的進行，AlphaGo Zero獨立發現了人類用幾千年才總結出來的圍棋規則，還建立了新的戰略，為這個古老的遊戲帶來新見解。

柯潔：相比阿爾法狗的進步，人類太多餘了

對此，柯潔凌晨在微博回應稱：「一個純凈、純粹自我學習的AlphaGo是最強的。對於AlphaGo的自我進步來講，人類太多餘了。」

柯潔微博截圖

2016年，谷歌旗下的DeepMind團隊發布AlphaGo，並在以4:1的成績擊敗了世界圍棋冠軍、韓國棋手李世乭，震撼全球。戰勝李世乭的這版AlphaGo，參考學習了大量的人類專業棋手的棋譜。

2016年3月9日，韓國首爾，DeepMInd開發的智能系統AlphaGo（阿爾法圍棋）和韓國職業圍棋選手李世乭的第一場比賽正式結束。 視覺中國 資料圖

此後，AlphaGo又進化出了AlphaGo Master版本，並以3：0戰勝了當今世界圍棋第一人、中國棋手柯潔。

「功成名就」後，DeepMind公司宣布AlphaGo退役，不再與人類下棋。不過，故事並未結束。

退出人類棋壇、無敵寂寞的AlphaGo開始了閉關學習，進行「左右手互博」，從而實現「挑戰自我」、「戰勝自我」。2017年10月18日，神秘面紗揭開：DeepMind推出了最新版本，也是迄今為止最強版本——AlphaGo Zero。

阿爾法狗之父揭最強狗咋煉成？

DeepMind聯合創始人兼CEO 、AlphaGo之父戴密斯·哈薩比斯（Demis Hassabis）和AlphaGo團隊負責人大衛·席爾瓦（Dave Sliver） 等人同時在官方博客上發表文章，詳解最強版本阿爾法狗是如何煉成的，與前代有何不同。

哈薩比斯

與學習大量人類棋譜起步的前代AlphaGo不同，AlphaGo Zero是從「嬰兒般的白紙」開始，通過3天數百萬盤自我對弈，走完了人類千年的圍棋歷史，並探索出了不少橫空出世的招法。

「在幾天的時間裡，它重新找到了已知的最佳玩法，在最後一天，甚至在此之上發現了更好的東西，」哈薩比斯說。「看到這一切，感覺很酷。」

AlphaGo和AlphaGo Zero都採用一種被稱之為強化學習的機器學習方法及深層神經網路系統。強化學習的靈感來源於動物可通過實驗和反饋進行學習，DeepMind已經使用這種技術，在簡單的雅達利遊戲有著超人的表現。

據了解，DeepMind公司總部位於倫敦，2014年被谷歌收購。該公司專註於利用遊戲、模擬和機器學習在人工智慧領域取得巨大進步；迄今為止，他們已經聘請了數百名AI研究人員共同追尋這一目標。哈薩比斯說，大約15人參與AlphaGo Zero的研發，耗費的計算資源估計達數百萬美元。

哈薩比斯等人撰文：

《AlphaGo Zero：從零開始》

席爾瓦在烏鎮人機峰會上發言

從語音識別、圖像分類到基因和藥物研究，人工智慧發展迅速。這些專家系統，很多是借用海量人類經驗和數據開發出來的。

然而，在有些特定問題上，人類的知識要麼過於昂貴，要麼不靠譜，要麼無法獲得。因此，人工智慧研究的一個長期目標就是跳過這一步，創造能在最有挑戰性的領域，不用人類輸入就達到超人水平的演算法。我們發表在《自然》期刊上的最新論文，展示了實現該目標的關鍵一步。

論文介紹了首個戰勝人類圍棋冠軍的電腦程序AlphaGo的最新進化版本：AlphaGo Zero。AlphaGo Zero更為強大，可以一爭史上最強圍棋手。

AlphaGo的前幾代版本，一開始用上千盤人類業餘和專業棋手的棋譜進行訓練，學習如何下圍棋。AlphaGo Zero則跳過了這個步驟，自我對弈學習下棋，完全從亂下開始。用這種方法，它很快超過了人類水平，對陣此前戰勝人類冠軍李世乭的前代AlphaGo取得了100連勝。

AlphaGo Zero之所以能當自己的老師，是用了一種叫強化學習的新模式。系統從一個對圍棋一無所知的神經網路開始，將該神經網路和一個強力搜索演算法結合，自我對弈。在對弈過程中，神經網路不斷調整、升級，預測每一步落子和最終的勝利者。

升級後的神經網路與搜索網路結合成一個更強的新版本AlphaGo Zero，如此往複循環。每過一輪，系統的表現就提高了一點點，自我對弈的質量也提高了一點點。神經網路越來越準確，AlphaGo Zero的版本也越來越強。

這種技術比此前所有版本的AlphaGo都更為強大。這是因為，它不再受到人類知識的限制，而能夠從嬰兒般的白紙狀態，直接向世界上最強大的棋手——AlphaGo本身學起。

AlphaGo Zero相較前代還有幾點明顯的差別：

首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設計的特徵輸入。

其次，AlphaGo Zero僅用了單一的神經網路。在此前的版本中，AlphaGo用到了「策略網路」來選擇下一步棋的走法，以及使用「價值網路」來預測每一步棋後的贏家。而在新的版本中，這兩個神經網路合二為一，從而讓它能得到更高效的訓練和評估。

第三，AlphaGo Zero並不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預測哪個玩家會從當前的局面中贏得比賽。相反，新版本依靠的是其高質量的神經網路來評估下棋的局勢。

所有這些差異，都提高了系統的表現，使其更為普適。不過，是演算法上的變化使得系統更為強大和高效。

僅僅自我對弈3天後，AlphaGo Zero就以100：0完勝了此前擊敗世界冠軍李世乭的AlphaGo版本。自我對弈40天後，AlphaGo Zero變得更為強大，超過了此前擊敗當今第一人柯潔的「大師」版AlphaGo。

通過數百萬次自我對弈，AlphaGo從零開始掌握了圍棋，在短短几天內就積累起了人類幾千年才有的知識。AlphaGo Zero也發現了新的知識，發展出打破常規的策略和新招，與它在對戰李世乭和柯潔時創造的那些交相輝映，卻又更勝一籌。

這些創造性的時刻給了我們信心：人工智慧會成為人類智慧的增強器，幫助我們解決人類正在面臨的一些嚴峻挑戰 。

儘管才剛剛發展起來，AlphaGo Zero已經走出了通向上述目標的關鍵一步。如果類似的技術可以應用在其他結構性問題，比如蛋白質摺疊、減少能耗和尋找新材料上，就能創造出有益於社會的突破。

（本文綜合自新浪科技、澎湃新聞）

向上滑動

相關業務聯繫浪小編

sinatechnews

新浪科技微博

新浪科技

你與新浪科技的距離

只有長按識別的0.5秒

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 新浪科技 的精彩文章: