基於汽車的多模式交互研究

隨著車聯網的各個方面越來越多地進入我們日常生活的許多方面，用戶正在與汽車之間進行多模式互動。目前，在移動互聯網的背景下，利用物聯網與汽車智能化技術，多模式交互技術已經被識別和試驗來適應汽車環境。

現在，基於語音的交互與視覺、觸覺界面的交互較為引人注目，但它僅僅是我們在當今汽車中以多模式交互方式的一部分。事實上，汽車製造商正致力於研究多模式交互，從而滿足人們對於汽車安全和科技感的追求。

多模式交互概念

多模式交互是為用戶提供多種與系統交互的模式。多模式系統可以處理兩種或多種組合用戶輸入模式，如文字、語音、視覺、動作、環境、觸摸和多媒體系統輸出協調一致的學習。

通過多種方式進行人機交互，充分模擬人與人之間的交互方式。這一交互方式複合機器人類產品的形態特點和用戶期待，打破了傳統PC式的鍵盤輸入和智能手機的點觸式交互模式。多種模式旨在共同工作，使互動更多直觀和自然。

多模式交互分類

多模式交互大致可以分為3類。多模態輸入的融合使用一種模式的優勢來彌補其他設計時間和運行時間等缺點。

順序多模式：意味著用戶必須在交互模式之間切換，但不能一起使用模式。

同時多模式：允許用戶一次使用多種模式與系統進行交互。例如：在路徑查找器應用程序中，用戶可以使用觸摸在屏幕上的地圖上指示兩個位置，並說「顯示從這裡到這裡的最快路線」。

輸入/輸出模式：多模式交互圍繞具有某些模式，採用各種形式輸入（視覺、觸覺、語音），將它們無縫地組合在一起，處理並以一種或另一種輸出模式（文本、音頻、學習）給出反饋或輸出。

車載多模式交互的必要性

1. 減少駕駛員分心

分心駕駛是任何可能會將人的注意力從主要活動駕駛任務分離的行為。所有分心都會危及司機，乘客和旁觀者的安全。這些分心的類型包括：

使用手機或智能手機，發簡訊

調整車內設施，如車窗

吃喝

與乘客交談

梳理

閱讀，包括地圖

使用導航系統

觀看視頻

調整收音機，CD播放機或MP3播放器「

駕駛員疲勞駕駛

心情不佳，導致狀態不加，容易分心走神

2. 減少認知負荷

由於駕駛員對於很多功能理解欠缺。人的工作記憶的容量有限，一次只能存儲5-9條基本信息。所以，在使用過程中一次只能處理2-3條信息，從而減少了一次處理的信息數。因此，急需有多模式交互系統做相關提醒和建議。比如說ADAS系統的應用。

△ADAS系統

車載多模式交互的應用和研發

儘管近年來多模式交互系統取得了重大進展，但在複雜的多模式交互成為普遍現象之前，還有許多工作要做。目前，汽車行業主要是在語音交互、HUD、觸摸屏等方面的研究比較多。但是下一代人機交互（HCI）設計需要包含能力識別用戶，在很多情況下，人機交互將更加註重情感交流和未來科技的研發。

1. 在方向盤上結合語音和手勢

通過使用語音識別功能，我們利用汽車中物體的可見性（例如鏡像）以及簡單訪問等功能。使用手勢進行操作，我們提供簡單的控制，即時反饋並輕鬆撤消操作。

2. 多模式情感智能界面設計

基於深度神經網路的機器人行為多模態綜合學習，在每次驅動之前，使用屏幕校準注視矢量必須根據每個駕駛員的身高和位置進行驗證。多模態情緒識別框架，結合了駕駛員的腦電波和眼球運動。開發智能車載系統，提供實時幫助或回顧性反饋以減輕基於駕駛員狀態/行為以及交通的分心。

3. 車載HUD原型手勢識別界面

汽車內的各種信息娛樂設備的通知能夠集中在一起，從而使駕駛員專註開車，而無需將注意力放在儀錶盤和中控。移動通信和導航數據識別能夠更好的獲取道路交通情況。

5. 全息技術的應用

全息技術在之前的文章里已經有所陳述，在這裡就不一一介紹了。

6. 多主體多通道交互模型

在進行基於汽車的交互設計與用戶界面設計之前，有必要建立一個新的交互模型，即基於汽車的多主體多通道交互模型。

7. 「Put That There」

put that there 是麻省理工學院建築機器組實施的語音和手勢互動系統。它允許用戶在大型視頻顯示器上構建和修改圖形資料庫。這項研究的目標是與複雜的計算機交互的簡單對話界面。

8. 汽車安全注意事項

目前，電子安全是所有人關心的主要問題之一。黑客，反社會組織可能針對自動車輛和智能系統採取行動，從而導致交通問題和事故。因此，確保汽車收到的信息不侵犯個人隱私是首要責任。

車聯網的技術發展給我們的研究提供了跨學科、跨領域的新可能性，在以汽車為中心的移動信息平台的框架下，多模式交互方式給今後的汽車設計又提出了新的挑戰。

參考：

humancarinteraction：MULTIMODAL INTERACTION

Richa Mittal：In-vehicle Multimodal Interactionan Approach to Mitigate Driver Distraction

Wei-Long Zheng ：EmotionMeter: A Multimodal Framework for Recognizing Human Emotions

KuniakiNoda：Multimodal integration learning of robot behavior using deep neural networks

Vikicfp:MMAutomotive 2018 : Multimodal Interaction in Automotive Applications

本文來源：pursuer HMI設計

未來汽車內的每一個表面都可以是智能表面，包括門飾板、儀錶板、方向盤、天窗模塊、照明系統等等，這些表面現已由裝飾作用向機電一體化用戶界面發展。現在智能表面技術正處於市場導入及成長階段，發展潛力巨大，如何把智能表面技術做到更好，需要主機廠、方案設計、零部件供應商、材料企業等的共同努力，現艾邦建有汽車智能表面微信群，長城、一汽、長安、綠馳、東風、大陸、敏實、科世達、庫爾茲、日寫、東麗等企業均已加入，歡迎產業鏈上下游的朋友入群探討，共謀進步。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！