全球超算總決賽融入微軟 NLP 賽題,高性能計算和 AI 如何攜手前行?
ASC 世界大學生超級計算機總決賽(ASC18)於近日在南昌大學舉行。這個由亞洲超算協會和浪潮集團聯合發起的超算競賽起源於 2012 年,目前已經成功舉辦7屆。據 AI 研習社了解,這一賽事共有來自北美洲、南美洲、非洲、亞洲、歐洲、大洋洲6 大洲,全球 300 多支大學生隊伍報名參賽,再次創下數量新高。
近年來人工智慧的火熱讓高性能計算(HPC)逐步走入大眾視野,而從賽題設置的角度 HPC 與 AI 的結合似乎已成為一種必然趨勢。從 2016 年開始,ASC 就已經將人工智慧領域的一些熱門問題作為決賽賽題,著重考察選手們對深度神經網路系統的優化方案。
ASC16 的一道賽題便是針對深度學習 DNN 的智能語音識別應用,對涉及英文、中文普通話、四川方言三個語種共約 60 萬條語音數據實現了高準確度訓練模型。彼時華中科技大學團隊設計了非常出色的深度神經網路優化方案,將計算性能最高提升 108 倍。
而在 ASC17 中,圍繞百度提供的歷史交通大數據,北京航空航天大學團隊對深度神經網路模型進行優化,對早高峰的道路交通進行預測,摘得這一賽題的桂冠。
在今年的 ASC18 中,自然語言處理也成為了今年的賽題熱點。在阿里、微軟、哈工大與訊飛聯合實驗室相繼在 SQuAD(Stanford Question Answering Dataset)文本理解挑戰賽中超越人類水平後,機器閱讀理解與問答數據集微軟 MS MARCO 成為了自然語言處理的下一座高峰。在今年,百度 NLP 團隊、猿輔導團隊都在微軟 MS MARCO 上表現不俗,雷鋒網也做過相關報道。據了解,ASC18 各參賽隊將使用 CNTK 深度學習框架,獨立開發機器閱讀理解和問答的演算法模型,使用最新超算技術結合 MS MARCO 數據集進行訓練,以試圖讓機器更準確地回答問題。
「超算的強項是對大數據的處理和強大的計算能力。在人工智慧方面,現在超算的能力主要發揮在深度學習方面,對語音、圖像及翻譯的處理都可以用超算。」這也不難理解,為何同期舉行的高峰論壇和創新研討會都以人工智慧為重點內容。
第 18 屆「HPC Connection Workshop 國際超算高峰論壇」的主題為「下一個尖端:人工智慧, 計算與科學」。來自中國、美國、歐洲等多國超算專家在論壇上分享探討的議題,也集中於如何更好地促進超算與 AI 的融合。「HPC Connection Workshop 國際超算高峰論壇」由亞洲超算協會和浪潮集團聯合舉辦,每年在德國 ISC 超算大會、美國 SC 超算大會和 ASC 世界大學生超算競賽期間召開,旨在探討超算在前沿科學工程與新興領域的應用創新和發展趨勢。
全球超級計算機排行榜 TOP500 發起人,美國工程院院士,橡樹嶺國家實驗室及田納西大學傑出教授 Jack Dongarra 帶來《高性能計算與大數據:未來的挑戰》主題報告。Jack Dongarra 結合自己在 1993 年所的 TOP500 榜單,分析了目前全球超級計算機的發展態勢。在演講中,Dongarra 院士提及了 CPU 的發展、深度學習與邊界設備的發展將給科學計算帶來進一步的挑戰。
國家重點研發計劃「高性能計算」重點專項總體專家組組長錢德沛教授、國家超級計算無錫中心副主任、清華大學付昊桓副教授、華沙大學數學建模和計算機跨學科中心副主任 Marek Michalewicz 博士、挪威科技大學計算機科學系教授 Anne C. Elster 博士、南昌大學徐子晨教授、NVIDIA 劉通等與會嘉賓也分別帶來精彩報告。
而人工智慧與超算創新研討會則邀請了國家超級計算無錫中心副主任、清華大學付昊桓副教授及百度雲、騰訊雲、浪潮、南昌大學等單位的人工智慧與超算專家,分享了 AI 與超算方面的尖端應用與科研進展。
會後,Dongarra 院士也進一步向 AI 研習社總結了他所理解的人工智慧與高性能計算的關係。他認為,高性能計算是「更好實現人工智慧的一個工具(tool)」,可以從算力上幫助人工智慧更好地探索現有的問題。
錢德沛教授則表示,人工智慧與超算的關係在目前仍然處於一個比較初級的階段,即「AI 需要超級計算的支持」。人工智慧特別是深度學習領域有大量的數據、推理、訓練內容,高性能計算能夠協助 AI 拓寬應用更多的領域。但錢德沛教授也認為,兩者間的關係在未來可能會有更加深入的進化。
兩位教授都提及了摩爾定律。在摩爾定律終將不適用於如今計算機系統的那一天,也就同時意味著機器要發生新的轉變。
首先,機器的規模會越變越大,且會朝著並行計算的趨勢前行。這一點並沒有太多疑問,從 Dongarra 院士所提供的最新一期 TOP500 榜單中就可以看出,以天河 1 號、太湖之光為代表的超級計算機已經在全球處於領先地位。
其次,人工智慧雖然在計算能力上碾壓人類,但從計算智能向感知智能的轉化上,在運行像模式識別為代表的任務上,還有很長的路要走。錢德沛教授認為,未來計算系統或將會探索出一種新型的計算模式,而超算將為這一轉變帶來更多的啟發。
而深度參與了多年會議的二位學者,對於今年的 ASC18 也有著諸多感悟。他們均從不同角度表示,ASC18 作為一項國際賽事,在推動超算人才培養、關注人才成長上有著非常多的助力作用。
2012 年首屆 ASC 大賽舉辦時,共有來自中國大陸的 27 支隊伍參賽;但轉眼到 2013 年,ASC 競賽便全面覆蓋了東亞、西亞、北亞和南亞 43 支高校參賽隊;在 2014 年就成為了世界規模最大、覆蓋地區最大的大學生超算競賽。超算大賽的參賽規模擴大,人數增加,甚至一些高校已經組織起一支以賽事為導向的比賽團隊。
不論是從 ASC18 的賽題,還是從兩場論壇及研討會上看,我們發現 HPC 正在越來越多地擁抱人工智慧。人工智慧需要高性能計算的支持,也需要超算的強大計算輔助。如今,有更多的學生因為人工智慧領域開始接觸到高性能計算,對於這門科學而言,無疑也是一件好事。
從Python入門-如何成為AI工程師
BAT資深演算法工程師獨家研發課程
最貼近生活與工作的好玩實操項目
班級管理助學搭配專業的助教答疑
學以致用拿offer,學完即推薦就業
新人福利
關注 AI 研習社(okweiwu),回復1領取
【超過 1000G 神經網路 / AI / 大數據資料】
如何在 NLP 領域干成第一件事?
※阿里將 TVM 融入 TensorFlow,在 GPU 上實現全面提速
※累計設計 10 億次海報,阿里 AI 設計師「魯班」核心技術詳解
TAG:AI研習社 |