最先進的AI還不如動物聰明?首屆AI-動物奧運會英國開賽
【新智元導讀】目前,即使是最先進的AI智能體,在適應環境變化的能力方面,還無法與動物相提並論。聽上去很不可思議對不對,不服來比比看?日前,動物-AI奧運會正式拉開帷幕,比賽核心就是動物的日常任務——覓食。
英國帝國理工學院和劍橋大學研究人員共同組織了一場特別的AI競賽,讓最先進的AI智能體與動物王國之間建立了聯繫,由於比賽的最初靈感來源於動物認知領域,這項AI競賽命名為「動物-AI奧運會」。
參與測試的智能體身處一個特定的小環境中。在每次測試中,智能體需要在環境中尋找食物,但是要做到這一點,需要克服多種障礙,爬坡,推箱子和必須避免的危險區域,而且不會提前提供測試機會。
簡單說來,這項比賽就是把動物能夠完成的「覓食任務」交給AI智能體來完成,讓AI和動物世界來一場虛擬比賽。在測試場景中設立越來越困難的障礙,考察AI智能體不同方面的能力。
實際上,這項比賽幾個月前就開始籌辦了,7月1日如期進入正式比賽階段。今天,2019年圖靈獎得主,人工智慧三巨頭之一Yann LeCun也在Twitter上分享了這個消息。
比賽目標:找到並取回食物就算贏
比賽中AI智能體測試平台示意圖
比賽提供一個明確定義的場景平台,並給出在該平台上進行測試的認知能力清單,而不是給出幾項特定任務。比賽將使用具有相同輸入和操作的相同智能體。比賽的目標只有一個:通過與先前看過的對象的交互,找到相同的食物目標。但是,比賽的確切布局和變數情況將在比賽結束後才會公布。
- 使用一系列已確定的動物認知任務,對當前的AI進行基準測試。
- 確定哪些AI方法最適合這些類型的任務。
- 為人工認知建立的基準和數據存儲庫。
- 確定動物智能的哪些方面對於當前的AI還具有挑戰性,哪些方面AI已很擅長。
- 建立新的研究和實驗,反饋動物認知社區,未來可以用動物進行測試。
- 在動物認知和AI兩個不同的學科間建立聯繫,分享研究方法和開發理念。
10種比賽場景,難度遞增:AI和動物大PK
測試項目共分10類,難度由易到難。所有比賽是否成功的判定,在大多數情況下,就是看是否找到了比賽場景環境中的唯一食物。每個類別的測試範圍從相對容易的問題,即大多數動物可以解決的問題,一直到只有少數動物可以解決的非常困難的問題。
覓食測試:大多數動物都會以覓食為動機,被食物吸引,在動物認知研究中經常利用這一點。本次比賽也是如此。食物是比賽環境中唯一的正面獎勵,測試的目標是在時間用完之前儘可能多地獲取食物(一般只要找到1份食物就可以)。本類測試考察智能體可靠找尋食物的能力,測試場景中不包含障礙物。
偏好測試:考察智能體選擇最有價值的行動方案的能力。幾乎所有動物都會表現出對更多食物的偏好,傾向於更容易獲取食物的行動方案。有些動物甚至有能力就最有價值的長期行動做出複雜的規劃和決定。
障礙物測試:此測試包含可能阻礙智能體導航的不可移動的障礙物。要取得成功,智能體可能必須充分探索其所在環境。探索是動物行為的關鍵組成部分。
避害測試:引入「熱點區」和「死亡區」,如果智能體觸及這些區域會給予負面獎勵。生物有機體的一個關鍵能力是避免負面刺激的能力。本測試中創建禁止區域,如果智能體走進這些區域,則直接重置測試。本測試目的是確定智能體檢測和避免此類負面刺激的能力。
空間推理測試:測試智能體能否理解其環境的空間特徵,是否具備更複雜的導航能力,以及環境內的一些簡單物理知識。
泛化測試:包括可能看起來與智能體環境表面上不同的環境變體,即便這些變體環境中的問題屬性和解決方案均保持不變。
內部模型:測試智能體存儲內部環境模型的能力。在這些測試中,場內可能會在一段時間後關閉燈光,要求智能體必須記住環境布局,在黑暗中導航。許多動物都具備這種能力,但動物可以接收多種感覺輸入。本測試進行了簡化,只考察智能體僅靠視覺輸入的情況。
目標存在持續性測試:許多動物都明白,當一個物體離開自己的視線時,它仍然是存在的。在人類和動物的世界裡,這似乎不言自明,但AI系統不一定具備這樣的能力。許多簡單的交互,如果不理解目標存在的持續性,是不可能完成的。看看AI智能體如何解決這個問題是一件很有趣的事。
高級偏好測試:測試智能體執行更複雜決策的能力,以確保自身獲得儘可能高的回報。預計測試將採用選擇的方式,從而獲得不同的可實現獎勵。
因果推理測試:最後一項測試,考察智能體是否具備因果推理能力。內容包括提前計劃的能力,在採取行動之前考慮行動的後果。一些動物已經通過了這一類別的所有測試。
比賽獎勵:除了獎金,還能參加NeurIPs 2019
本次比賽總獎金為32000美元(含等值獎品),其中現金19000美元,以及NeurIPs 2019的參會資格和往來費用,價值3000美元。還包括價值10000美元的亞馬遜AWS算力(比賽中頒發,可於本比賽的後半部分使用)。
第一名將獲得6500美元現金,NeurIPs 2019參會補助1000美元。
第二名將獲得5000美元現金,NeurIPs 2019參會補助1000美元。
第三名獲得1500美元獎金
此外,單項測試中獲得冠軍的隊伍將獲200美元獎金,並頒發證書。
參考鏈接:
https://www.mdcrosby.com/blog/animalailaunch.html
http://www.animalaiolympics.com/
更多說明請見GitHub:
https://github.com/beyretb/AnimalAI-Olympics
※MIT設計新型光子晶元,效率比電子晶元高1000萬倍
※最新SCI影響因子發布!Nature屠榜,AI領域Top 1000期刊盤點
TAG:新智元 |