如何將手語轉換成語音？兩位中國女孩用「翻譯臂環」做到了

用翻譯臂環與失語者進行溝通，和「無言者」對話不再是無稽之談。

文 | 田筱陽

編輯 | 傅博

北京航空航天大學研究生王娜娜，清華大學研究生黃爽，歷時兩年，為失語者群體研究出一款直接將手語轉化成語音的翻譯臂環——「手音」。在使用這款臂環後，可以實現失語者與普通人的流利對話。

據中國青年報報道，「手音」是一款針對失語者的小眾產品，預計今年5月下旬上線。普通人可能難以想像這款產品的意義所在——手語是失語者彼此日常溝通的主要方式，但對於普通人來說卻是比所有外語都難的語言。

一邊是手語，一邊是普通語言，可以想像將兩者「嫁接」起來的難度。

手音的兩位設計者，圖片來自中國青年報

據統計，截至目前，全中國大概有2100萬失語者，全球總共有6500-7000萬失語者左右。對於這些不幸的人們來說，你我習以為常，平凡到不能再平凡的日常語言交流，都成了遙遠的奢望。

以「手音」為代表的幫助手語者更好與他人交流的輔助設備，無疑是一款為聾啞人生活帶來極大方便的產品。

有這個想法以來，兩個女孩從最基本的技術環節開始，不斷完善這款智能產品。最開始，她倆從零開始學習手語，並著手研究如何將手語翻譯為語音。

查論文、做實驗、寫代碼，在沒有資金的情況下，她們便用馮如杯一等獎獎金5萬元作為啟動資金購買需要的設備。

在整個研發過程中，她們多次否定了圖像識別技術，因為不能隨時攜帶攝像頭；她們也否定了手套這種形式，因為會考慮到以「不傷害失語者群體的尊嚴」為前提……

最終，她們確定採用臂環捕捉肌電信號的方法，這在某種程度上讓失語者帶看上去一如常人。

在確定研發方向後，她們需要不斷輸入數據、調試數據以保證手語翻譯的準確性。兩位姑娘基本上是每天執行枯燥無味的純體力勞動。

如今，「手音」涵蓋了200個手語動作，為了保證精確度，每一個動作基本都錄製了1000多次。

在有了自己的手勢資料庫之後，手音團隊還搭建了一個7層BP神經網路(一種按誤差逆傳播演算法訓練的多層前饋網路，是目前應用最廣泛的神經網路模型之一)對數據速度進行訓練，目前識別準確度已經達到95%。

而我們也注意到，在「手音」出現之前，其他國家也有類似的嘗試如創新。

學生Hadeel Ayoub發明的Hadeel Glove, 華盛頓大學兩名大二學生Navid Azodi和Thomas Pryor 發明的SignAloud均意圖幫助失語者更好地與他人交流。

Hadeel Ayoub發明的Hadeel Glove

SignAloud

二者工作原理和外形十分相近，均為手套，通過感測器捕捉輸入的手語信號，通過電腦或者晶元的處理，轉換為語音信號輸出。

另一個承擔相似功能的則是UNI出品的平板MotionSavvy，具有雙向翻譯的能力，既能把手語翻譯為日常交流的話語，也能把他人的語音翻譯為文本供使用者閱讀。

MotionSavvy

值得一提的是，上述三項產品的推出距現在已均有兩年之多。這漫長的時間內，均無重大的技術更新或新的跟蹤報道；而且，目前三項產品均不支持多語言。

由此可見，這一細分垂直領域，並非能高速增長發展的廣闊藍海，需要精心耕作。而不同語言之間天生的壁壘，亦橫亘在各大競品國際化的的道路之上。

另一方面，超脫技術層次的考慮則是，失語者是否願意接受這一新興的輔助工具呢？他們需要多長時間來學習並適應呢？「手音」團隊如何優化產品設計，給予用戶更好的穿戴及產品體驗呢？

國內兩千萬，全球七千萬的受眾群體，或許並不足以肩負得起宏偉的財政目標和投資人的期許。而這一領域看起來也並非商業化發展的良田。

但是，並非只有成為獨角獸抑或是斬獲漂亮的營收數據才是成功。像Google、微軟等科技巨頭都在通過各種途徑（設立比賽及慈善基金）為全球各類弱勢群體開發新型產品，有時候，只要對特定需求有一個精準的定位，利基市場反而具備更大的消費市場和能量。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！