「AI版摩爾定律」10張圖盤點計算機視覺、語音和文本理解里程碑

1 新智元編譯

微軟上周宣布，在語音轉文字上，他們的軟體取得了新的突破。在一個標準的電話語音通話資料庫中，微軟的系統的識別錯誤率為：每20個單詞只有1個錯誤，這與人類的水平相當。

在一系列被人們認為是能證明人工智慧的進步正在逐步加速，將大大促進經濟增長的證據中，這一結果是最新的一例。

一些軟體已經被證明在識別圖像中的汽車或貓等對象上能比人做得更好，谷歌的AlphaGo軟體已經戰勝了多個圍棋冠軍 ，此前這被認為是需要十年或以上的時間才能實現的。各大公司都急切地希望基於這些進步獲得發展，在各家企業的財報電話會議上，AI 被提及的次數更是呈現指數級的增長。

現在，一些AI觀察者正在嘗試製作更加精確的圖，以展示這一技術是如何快速發展的，以及進步的速度如何。通過在不同的領域衡量AI的進步，他們希望能刺破AI泡沫和迷霧。這些項目致力於給予研究者和政策制定者一個更加清晰的視角，讓他們能以最快的速度發現領域內哪些地方在快速進步，以及我們應該如何做出反應。

圖像識別軟體在2016年的標準ImageNet測試中超越了人類。非營利實驗室SRI國際研究員Ray Perrault說：「需要這麼做的一部分原因，是因為在關於AI 會走向何方這一話題上，人們有許多瘋狂的想法」。他是一個名為「AI指數」的項目的領導者之一，其目的是在年底前發布一份關於該領域進展情況的詳細情況。該項目得到了2015年在斯坦福大學建立的「人工智慧百年研究」的支持，以檢驗人工智慧對社會的影響。

關於 AI 取得進步的聲明幾乎是無處不在的，即使是在快餐和牙刷的營銷人員口中。另外，對於那些擁有最堅實的研究團隊發布的成果，我們也很難去評估。

去年10月，微軟就首先公布在語音識別上達到了人類的標準，但是，IBM和眾籌公司 Appen緊接著就公開宣稱，人類能做到的準確率要比微軟所聲稱的高得多。接下來，微軟不得不其錯誤率再降低12％，以達到「人類水平」(human parity)。

註：微軟最開始宣布語音識別錯誤率為6.3%，一個月後宣布達到5.9%，最近一次宣布錯誤率已經降到了5.1%。

AI指數：記錄AI發展里程碑的10張趨勢圖

EFF是一家致力於保護公民自由免受數字威脅的電子前沿基金會，他們已經開始自己的努力來衡量和理解AI的進展。這家非盈利組織正在梳理微軟等等機構的論文，以組建一個開源的、在線的資料庫，以衡量的AI進度和表現。 EFF的首席計算機科學家Peter Eckersley表示：「我們想知道AI真正發展到什麼地步了，哪些是緊急的任務，哪些是長期的目標，而不是只知道那些讓人們過度興奮的投機版本的AI。」

EFF的資料庫包含了從2012年起圖像識別快速進展的圖表，還有一個圖，是關於讓軟體理解兒童讀物的測試，這能讓我們了解人類和機器在這一任務上的差距。 「 AI指數」項目正在努力繪製AI子領域趨勢圖，將最受研究員關注的趨勢表現出來。

視覺

1. ImageNet

視覺我們將介紹最知名的10個標誌性事件，首先就是大名鼎鼎的ImageNet，大家都知道，ImageNet在2017年是最後一屆了。

EFF的統計表中列出了從2010年到2017年，ImageNet圖像識別競賽中取得突破的情況。2014年的VGG和2015年的MSRA是兩大比較有代表性的突破，其中2015年MSRA的突破，正式將機器對圖片的識別錯誤率降到了人類水平。

2. CIFAR-10 和 CIFAR-100

CIFAR-10 資料庫包含了6萬張32X32的彩色圖像，有10個類型，每個類型有6000張圖片。共有5萬張訓練圖像和1萬張測試圖像。CIFAR-100和 CIFAR-10類似，不同點在於，其類型有100個，每個包含600張圖片。

CIFAR-10 中，取得達到人類水平的突破也是發生在2015年之後。下面是具體的演算法和準確率：

此外，EFF還列出了MNIST 手寫識別、MSRC-21、STL-10和SVHN等視覺和圖像數據集上幾年來的表現，包括演算法和論文，詳情點擊：https://www.eff.org/files/AI-progress-metrics.html#Vision

值得一提的是，視覺問答數據集COCO上的成績：

遊戲

遊戲部分分為：抽象策略遊戲和實時視頻遊戲（各種Atari遊戲）。較為有代表性的有：

1. 抽象策略遊戲（計算機象棋程序）

語音識別

該數據集上近三年來不斷刷新新紀錄的演算法：

語言建模與理解

翻譯

對話：聊天機器人與智能體

閱讀理解

上文提到的視覺、遊戲和語音識別等。新智元了解到，EFF目前對AI發展的能力衡量分為以下11個部分：

1. 玩遊戲

2. 視覺與圖像建模

3. 文本語言

4. 對話語言

5. 音樂信息複合

6. 科學和技術能力

7. 學習：正則化、遷移學習和單次學習

8. 安全

9. 透明性和可解釋性

10. 公正與去偏見

11. 隱私問題

更多內容，可點擊 https://www.eff.org/files/AI-progress-metrics.html#Vision

趨勢圖的價值：創造AI版的「摩爾定律」

AI 指數還將嘗試監測和衡量人工智慧在現實世界中的工作。 Perrault說，例如，將使用該技術的工程師的數量和以AI為中心的公司的投資在圖表中進行體現可能是有用的。

他的目標是「了解這項研究對商業化產品有多大影響」，他說。儘管他承認公司可能不願意發布數據。人工智慧指數項目也在跟蹤媒體上報道的數量和情緒以及公眾對AI的關注。

Perrault說，該項目應該會贏得廣泛的觀眾，因為研究人員和資助機構非常迫切地想看到AI的哪些領域有最大的發展勢頭，或哪些領域需要支持和新的想法。他表示，銀行和諮詢公司已經呼籲，需要更好地處理人工智慧的真實情況。科技行業與摩爾定律的數十年的「蜜月期」， 證明了AI進展的路線圖將能在矽谷找到觀眾。

至於這一衡量方式會對政府官員和監管機構應對智能軟體在隱私等方面的影響能有多大的幫助，現在還不清楚，華盛頓大學法律系教授 Ryan Calo表示：「我不知道它會有多麼有用。」他最近提出了AI政策問題的詳細路線圖。他認為，決策者需要對底層技術進行深度的了解，而且需要強有力的價值觀，而不是對細微的進步進行監控。

EFF的 Eckersley 認為，AI 追蹤項目將隨著時間的推移變得更加有用。例如，有關失業問題的辯論可能會通過關於軟體程序如何快速推動某些工作人員的核心任務進行自動化的數據而被提及。Eckersley說，看這個領域的進展情況已經有助於說服他自己，讓AI系統更加可信賴是多麼的重要。他說：「我們收集的數據表明AI系統的安全性是一個相關甚至緊迫的研究領域。」

學術界和谷歌等公司的研究人員最近已經調查了如何欺騙人工智慧軟體，並防止它的錯誤行為。隨著各家公司都在急切地用軟體來控制諸如汽車等更為普遍的技術上，如何使其可靠和安全可衡量的進步可能是最重要的。

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！