全球超算總決賽融入微軟NLP賽題,高性能計算和AI如何攜手前行?
ASC世界大學生超級計算機總決賽(ASC18)於近日在南昌大學舉行。這個由亞洲超算協會和浪潮集團聯合發起的超算競賽起源於 2012 年,目前已經成功舉辦7屆。據雷鋒網 AI 研習社了解,這一賽事共有來自北美洲、南美洲、非洲、亞洲、歐洲、大洋洲6 大洲,全球300 多支大學生隊伍報名參賽,再次創下數量新高。
近年來人工智慧的火熱讓高性能計算(HPC)逐步走入大眾視野,而從賽題設置的角度HPC與AI的結合似乎已成為一種必然趨勢。從2016年開始,ASC 就已經將人工智慧領域的一些熱門問題作為決賽賽題,著重考察選手們對深度神經網路系統的優化方案。
ASC16的一道賽題便是針對深度學習DNN的智能語音識別應用,對涉及英文、中文普通話、四川方言三個語種共約60萬條語音數據實現了高準確度訓練模型。彼時華中科技大學團隊設計了非常出色的深度神經網路優化方案,將計算性能最高提升108倍。
而在ASC17中,圍繞百度提供的歷史交通大數據,北京航空航天大學團隊對深度神經網路模型進行優化,對早高峰的道路交通進行預測,摘得這一賽題的桂冠。
在今年的ASC18中,自然語言處理也成為了今年的賽題熱點。在阿里、微軟、哈工大與訊飛聯合實驗室相繼在SQuAD(Stanford Question Answering Dataset)文本理解挑戰賽中超越人類水平後,機器閱讀理解與問答數據集微軟MS MARCO成為了自然語言處理的下一座高峰。在今年,百度NLP團隊、猿輔導團隊都在微軟MS MARCO上表現不俗,雷鋒網也做過相關報道。據了解,ASC18各參賽隊將使用CNTK深度學習框架,獨立開發機器閱讀理解和問答的演算法模型,使用最新超算技術結合MS MARCO數據集進行訓練,以試圖讓機器更準確地回答問題。
「超算的強項是對大數據的處理和強大的計算能力。在人工智慧方面,現在超算的能力主要發揮在深度學習方面,對語音、圖像及翻譯的處理都可以用超算。」這也不難理解,為何同期舉行的高峰論壇和創新研討會都以人工智慧為重點內容。
第18屆「HPC Connection Workshop國際超算高峰論壇」的主題為「下一個尖端:人工智慧, 計算與科學」。來自中國、美國、歐洲等多國超算專家在論壇上分享探討的議題,也集中於如何更好地促進超算與AI的融合。「HPC Connection Workshop國際超算高峰論壇」由亞洲超算協會和浪潮集團聯合舉辦,每年在德國ISC超算大會、美國SC超算大會和ASC世界大學生超算競賽期間召開,旨在探討超算在前沿科學工程與新興領域的應用創新和發展趨勢。
全球超級計算機排行榜TOP500發起人,美國工程院院士,橡樹嶺國家實驗室及田納西大學傑出教授Jack Dongarra帶來《高性能計算與大數據:未來的挑戰》主題報告。Jack Dongarra結合自己在1993年所的TOP500榜單,分析了目前全球超級計算機的發展態勢。在演講中,Dongarra院士提及了CPU的發展、深度學習與邊界設備的發展將給科學計算帶來進一步的挑戰。
國家重點研發計劃「高性能計算」重點專項總體專家組組長錢德沛教授、國家超級計算無錫中心副主任、清華大學付昊桓副教授、華沙大學數學建模和計算機跨學科中心副主任 Marek Michalewicz博士、、挪威科技大學計算機科學系教授Anne C. Elster博士、、南昌大學徐子晨教授、NVIDIA劉通等與會嘉賓也分別帶來精彩報告。
而人工智慧與超算創新研討會則邀請了國家超級計算無錫中心副主任、清華大學 付昊桓副教授及百度雲、騰訊雲、浪潮、南昌大學等單位的人工智慧與超算專家,分享了AI與超算方面的尖端應用與科研進展。
會後,Dongarra院士也進一步向雷鋒網AI研習社總結了他所理解的人工智慧與高性能計算的關係。他認為,高性能計算是「更好實現人工智慧的一個工具(tool)」,可以從算力上幫助人工智慧更好地探索現有的問題。
錢德沛教授則表示,人工智慧與超算的關係在目前仍然處於一個比較初級的階段,即「AI需要超級計算的支持」。人工智慧特別是深度學習領域有大量的數據、推理、訓練內容,高性能計算能夠協助AI拓寬應用更多的領域。但錢德沛教授也認為,兩者間的關係在未來可能會有更加深入的進化。
兩位教授都提及了摩爾定律。在摩爾定律終將不適用於如今計算機系統的那一天,也就同時意味著機器要發生新的轉變。
首先,機器的規模會越變越大,且會朝著並行計算的趨勢前行。這一點並沒有太多疑問,從Dongarra院士所提供的最新一期TOP500榜單中就可以看出,以天河1號、太湖之光為代表的超級計算機已經在全球處於領先地位。
其次,人工智慧雖然在計算能力上碾壓人類,但從計算智能向感知智能的轉化上,在運行像模式識別為代表的任務上,還有很長的路要走。錢德沛教授認為,未來計算系統或將會探索出一種新型的計算模式,而超算將為這一轉變帶來更多的啟發。
而深度參與了多年會議的二位學者,對於今年的ASC18也有著諸多感悟。他們均從不同角度表示,ASC18作為一項國際賽事,在推動超算人才培養、關注人才成長上有著非常多的助力作用。
2012年首屆ASC大賽舉辦時,共有來自中國大陸的27支隊伍參賽;但轉眼到2013年,ASC競賽便全面覆蓋了東亞、西亞、北亞和南亞43支高校參賽隊;在2014年就成為了世界規模最大、覆蓋地區最大的大學生超算競賽。超算大賽的參賽規模擴大,人數增加,甚至一些高校已經組織起一支以賽事為導向的比賽團隊。
不論是從ASC18的賽題,還是從兩場論壇及研討會上看,我們發現HPC正在越來越多地擁抱人工智慧。人工智慧需要高性能計算的支持,也需要超算的強大計算輔助。如今,有更多的學生因為人工智慧領域開始接觸到高性能計算,對於這門科學而言,無疑也是一件好事。
※信號處理頂會 ICASSP 開幕,俞棟張長水周彤榮升 IEEE Fellow
※怎樣攔下Fintech發展的「灰犀牛」?各國央行前行長們這樣說
TAG:雷鋒網 |