倫斯勒理工學院啟用VR沉浸式教學系統

來源：映維網?作者?廣州客

人們常說，學習一門語言的最佳方式是沉浸在母語環境中。除了能聽到最地道的發音和用詞之外，這同時會逼迫著你用自己不熟悉的外文與人交流，從而幫助你迅速掌握這門語言。然而，不是所有人都能獲得這樣的機會。

在與IBM研究院的合作中，倫斯勒理工學院為學生提供了另一種學習中文的選擇：360度虛擬環境（動力牆powerwall屬於VR形態之一）。學生將能傳送到北京最為繁忙的街道或者中餐館裡面。你可以與街頭小販討價還價，或者在餐廳下單。這個環境配備了不同的AI功能，並能夠實時響應學生。實際上，這個項目早已存在，而且在很大程度上屬於實驗性質，但它將在今年夏天首次用在為期六周的學分課程中。

這個項目的靈感來源於兩位倫斯勒理工學院教職工，他們經常通過角色扮演遊戲來幫助學生學習漢語。另外，過去數年間的多項研究表明，互動式學習環境可以提高語言理解和知識留存。一份2018年發布的研究表明，當在3D虛擬環境中學習日文時，學生更有可能掌握他們偶然遇到的辭彙。所以，教授團隊開始與IBM研究院進行合作，並且探索利用沉浸式學習優勢的方法。

除了將學生沉浸在數字投影中，系統同時利用多種感測器來動態適配學生的用詞與行為。被試攜帶的麥克風會把語音直接饋送至語音識別演算法。攝像頭可以追蹤被試的運動和手勢。例如，如果學生在餐廳里詢問某種菜肴是什麼，虛擬角色就能馬上回答相應的名字和配料。這項敘事生成技術同時允許虛擬角色利用維基百科為隨機問題提供更為在行的回答。

對於這個投影牆式的360度環境，其採用的大多數技術都可以從當前的市場中找到，但少數需要進行專門的開發。漢語有四種聲調，而這對剛剛接觸的外國人而言相當困難。比如說賣和買，讀音不同，而意義則完全相反。所以研究人員創建了一套分析學生聲調的演算法。然後，系統會將學生的發音與中文母語者進行比較，並直接在投影牆中直接提供音頻和視覺反饋。這能夠允許學生與虛擬角色交流，並馬上練習新的辭彙。

負責這個計劃的IBM坎布里奇研究院用戶認知體驗總監Hui Su表示，團隊仍處於確定其有效性的早期階段。但在2017年底的一次實驗中，研究人員發現它提高了學生在語言學習中的參與度，並能幫助他們快速掌握新辭彙。

例如，在下單之前，學生從未學過如何支付埋單，但通過觀察同伴並與虛擬角色交談，許多學生都掌握了必要的辭彙。Hui Su表示：「這有點令人感到意外。其中一名學生評論說，這應該成為教授語言的方式。」

在第一年裡，新課程將在近一半的時間裡採用虛擬環境，其餘時間則選擇傳統教室（這種安排將來可能會發生變化）。

如果這個課程提供了改善學生學習成果的有力證據，它將可以作為其他課程的榜樣。最符合邏輯的下一步是將其擴展到其他語言。但這同時可以用於指導高管，培訓政府工作人員，或進行任何可能受益於情景模擬和角色扮演的活動。

Su Hui表示，這項計劃將有助於研究人員探索認知和沉浸式環境將如何影響學習，協作和感知。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！