強化學習的時代，機器被指導「自主學習」

技術突破：強化學習（Reinforcement Learning，RL）是一種人工智慧方法，能使計算機在沒有明確指導的情況下像人一樣自主學習。

重要意義：假如機器不能夠自主通過環境經驗磨練技能，自動駕駛汽車以及其他自動化領域的進展速度將受到極大地限制。

主要研究者：

- DeepMind - 科大訊飛

- Mobileye - 阿里巴巴

- OpenAI - 微軟亞洲研究院

- Google - 中科院

- Uber - 百度

成熟期：1~2年

強化學習技術，正是AlphaGo能夠掌握複雜的圍棋遊戲，並擊敗世界最強職業選手的關鍵。如今，強化學習正在迅速發展，並逐步將人工智慧滲透到除了遊戲之外的各個領域。除了能夠提升自動駕駛汽車性能，該技術還能讓機器人領會並掌握以前從未訓練過的技能。

本質上，強化學習技術是從自然界中學習的一種基本法則。心理學家愛德華·桑代克（Edward Thorndike）在100多年前也注意到了這一點。在最著名的迷箱實驗中，桑代克將貓放在一個迷箱中，貓只能通過按壓一個控制桿才能逃脫。觀察結果顯示，經過相當長時間的來回徘徊，動物最終總會偶然地踩到控制桿，然後逃脫。

一些最早期的人工智慧研究者認為，迷箱實驗的過程有可能在機器中有效地重現。早在1951年，馬文·明斯基（Marvin Minsky）創造了世界上第一台具有學習能力的機器，利用簡單形式的強化學習方法模擬了一隻老鼠如何學習走出迷宮。

然而，隨後的幾十年里這個領域幾乎沒有什麼喜人的成績。1992年，IBM的研究員傑拉爾德·特索羅（Gerald Tesauro）演示了一個使用人工智慧技術玩西洋雙陸棋的程序。很快，這個程序就玩的非常熟練，並足以與最好的人類玩家競賽。這是人工智慧發展史上一個里程碑式的成就。

強化學習技術之所以行得通，是因為研究人員找出了如何讓計算機程序計算出每種狀態下應該分配的強化值的方法。還是以迷箱實驗為例，在走出迷宮的過程中，「模擬老鼠」每一次做出「向左轉」或者「向右轉」動作時，計算機程序會做出獎或懲的評價。並且，所有分配的強化值都存儲在一張大表格中，然後計算程序會隨著學習的過程逐步更新這些數據。

但對於大型複雜的任務，這種方法在計算上是不切實際的。然而，近幾年來，深度學習技術被證明是一種用來識別數據模式的極其高效的方式，無論這裡的數據指的是迷宮中的轉彎、圍棋棋盤上的位點，還是計算機遊戲中屏幕上的像素，亦或是自動駕駛時面臨的複雜路況。

在國內，以科大訊飛為例，這家公司已經針對強化學習在多個方向展開了研究和應用，包括人機對話系統、智能客服系統、機器輔助駕駛、機器人控制等方向，都已有了應用研究。以對話系統這樣一個多輪人機交互系統為例，它就是一個非常典型的強化學習應用案例。

傳統的任務完成型對話系統，用戶需要在一次交互過程中把自己的需求描述清楚，這樣的交互不是自然的。在訊飛的AIUI交互系統框架中，引入了多輪交互的思想，由一個深度強化學習（馬爾庫夫決策過程）模型來引導用戶輸入需求，從而快速、自然流暢地完成用戶任務。

同時，許多工業機器人製造商也將目光投向了強化學習技術，測試該技術在無手工編程情況下訓練機器執行新任務的效果。此外， Google公司的研究人員也正與DeepMind合作，試圖利用深度強化學習（deep reinforcement learning）技術使其數據中心更加節能。

通常，找出數據中心各個單元如何影響系統總能耗是十分困難的，但是強化學習演算法能夠從收集的數據以及模擬實驗中學習經驗並提出優化建議，比如說，如何以及何時啟動冷卻系統。