對話微軟黃學東：語音語言技術是鑲在 AI 皇冠上的明珠

【 圖片來源：Microsoft Research Blog所有者：Microsoft Research Blog 】

雷鋒網按：上一次你和你的電腦進行有意義的對話，並且感受到它能真正地理解你，是什麼時候呢？如果微軟技術研究員、微軟的語言語音小組組長黃學東博士做到了的話，那麼你也將可以做到。並且，如果他以往的研究真的達到了他所說的水平的話，這一天到到來可能要比你想的還要快。

黃學東教授在播客中談了談他作為微軟首席語音技術科學家的工作內容，告訴我們一些關於語言語音技術最新的里程碑的內部細節，以及說明掌握語音識別、翻譯、交流是如何讓機器在從「感知人工智慧」到「認知人工智慧」轉變的路上走得更遠，和語音識別、翻譯、交流有多接近真正的人類智能。雷鋒網全文編譯如下。

主持人：黃學東，歡迎來到微軟的播客節目。

黃學東：謝謝。

主持人：您是語言語音小組的微軟技術研究人員，還領導著微軟的口語工作，我們稍後會進行深入探討。但首先，作為微軟的首席語音科學家，先簡單告訴一下我們您做了些什麼，以及為什麼要做這些事情。讓您每天起床的動力是什麼？

黃學東：好的，我們現在所做的事是確保我們有最好的語音語言技術能被應用到更廣的領域。我們之所以有個團隊去做這件事，是因為我覺得這不僅是人類最自然的交流方式，而且這還是我們現在面對的最艱難的人工智慧挑戰。這就是我們所做的，在我們的雲端 Azure Services 上嘗試去真正突破，去提供出色的服務，以及確保我們能讓微軟的客戶和微軟之外的客戶滿意。如果你想要框定整個事情，主要有三個方面。

首先，我們有能力去驅動語音識別的準確性，去驅動合成工作的自然性，當你把英語翻譯成漢語、法語，德語的時候，去確保翻譯質量是精確的。因此，有很多科學家在背後去確定這些精確性、自然性以及潛在因素，他們是世界一流的科學家。這是第一方面。

第二方面是，我們不僅提供技術，我們還在Azure上提供服務。從Office 到Windows,Cortana，它們都依賴著同一個雲服務。不僅如此，我們還有邊緣設備，像我們的語音設備SDK。因此，我們想要確保在邊緣設備和在雲端上的語音技術都是以現代的方式進行的。這是第二方面：平台是現代化的。

第三方面是對消費者展現愛意，因為我們在全球擁有廣泛的客戶。我們想讓消費者高興，想讓我們的消費者體驗到他們使用的語音翻譯是一流的。

這就是我實際上主要做的三件事：提升AI 的能力，使我們在雲端和在邊緣設備上的平台現代化，愛我們的顧客。

主持人：嗯。您有很多團隊在這些小組中工作，來解決我們稱之為「支柱」的問題。

黃學東：是的，我們在世界各地都有團隊。並且，這些團隊的多樣性是很驚人的，因為我們在嘗試克服語言障礙。因此，我們在中國有團隊，在德國、以色列、印度、美國同樣也有。我們的工作遍布全球，嘗試著去應對這些語言挑戰。

主持人：我想先引用您的話為我們的今天的談話做準備。您說過，「語音語言技術是鑲在 AI 皇冠上的明珠。」為我們說明一下吧。

黃學東：嗯，好的。我們可以從人類進化的範疇來思考。在某個時期，語言誕生了，它加速了人類進化。如果你想想這個星球上的所有動物，就像你知道的，有很多動物跑的比人類快，視力比人類好······

主持人：它們的牙齒也很鋒利。

黃學東：尤其是在晚上。

主持人：它們很強大。

黃學東：是的。它們聽的比人類遠，嗅覺比人類靈敏，但是，只有人類擁有語言。我們能夠很好的去組織，能夠用科幻小說的術語去描述，能夠自我組織，能夠寫出一部憲法。如果你看到人類的這些方面，你就會知道，是語音和語言將我們和其他動物區別開的。對人工智慧來說，語音語言技術能夠驅動人工智慧進化，就像它驅動人類進化那樣。這就是為什麼它是鑲在人工智慧的皇冠上的明珠。而且它還是堅硬的那顆，難以破壞。

主持人：是的。有一個關於這個話題的哲學性討論，但它引出了一些有趣的問題。如果您在機器語言上取得了很大的成功，那麼，這些機器會是什麼呢？

黃學東：讓我們發揮一點想像力。在某些時候，我們說計算機能夠理解三百種語言，還能夠流利地交流和對話。我還沒遇到能夠說三百種語言的人。而且，機器不僅能夠流利地交流和對話，還能夠領會、理解、學習、推論以及能夠在所有科目上都能拿到博士學位。這種知識的獲取、推論超過了任何人的個人能力。當這一刻到來的時候，你可以想像人工智慧將會有多聰明。

主持人：這是您想像出來的東西嗎？

黃學東：是的。

主持人：我們想要那樣嗎？

黃學東：是的。我覺得這個世界能夠成為一個更好的世界。幾個星期前我在日本，帶著裝在移動設備上的微軟翻譯器，我能夠和不會說中文或英語的日本人交流。微軟翻譯器能夠說一些我不會說的語言，當我在日本的時候，它能幫助我變得更有效率。

主持人：我完全同意。一想到這個機器，我就有點害怕。「我們不是第一個，不是最後一個，我們只是下一個······」

黃學東：但是，這個智能有兩個層次。第一個層次是感知智能，它能看，能聽，能聞。緊接著高層次的是認知智能。我們今天所取得的人工智慧的突破，大多是在感知層面，例如語音識別、語音合成、計算機視覺。但是在高級推理和知識獲取這些認知能力上，人工智慧距離人類的水平還很遠。並且，最令我感到振奮的是翻譯器，它是一種介於感知智能和認知智能的物體。事實上，我們能夠在感知智能的基礎上取得成功，並擴展到認知智能，這是一個相當漫長的過程。我不知道我們什麼時候能夠到達那個裡程碑。但是那一天正在靠近了，這只是時間問題。它可能還要五十年，但我認為這是會發生的。

主持人：因為我們現在談到一些里程碑，我們將在另一個博客中詳細討論。但現在，首先我想要回顧一下，在 Rick Rashid 成立組織以及建立第一個語音小組的時候，您已經在微軟研究院工作一段時間了。根據MSR的傳說，這個小組的目標就是「讓語音成為主流」，請簡要的告訴我們一些關於在 MSR 的語音歷史。這個研究是怎麼從早期的「不主流」「敢於冒險，放眼未來」到今天幾乎出現在微軟的每一個產品中的？

黃學東：在我加入微軟之前，我曾是匹茲堡 CMU 的教員。當時，RickRashid 是那裡的教授，我是一名初級教員。我的語音研究主要是在 CMU 開展的。後來，微軟和我接觸，他們想要建立一個語音研究的小組。因此，在1993年的第一天，在新年休假之後，我轉移了。我從匹茲堡飛到西雅圖，開始了這段從未改變的旅程。這就是微軟語音研究的開始。我們是開始為開發者帶來語音技術的研究團隊。

主持人：嗯。

黃學東：所以…

主持人：所以不再只是特別深奧的純理論研究

黃學東：對，不是特別深奧的純理論研究。我們從 CMU 獲得技術許可，我們就是這樣開始的。我們非常感謝 CMU 在這個領域上的開創性研究。我們是一個研究團隊，但是我們在Windows 』95上發布了了第一個語音API, SAPI。作為一個研究團隊，我們相當自豪，因為通常的研究只是進行特別深奧的純理論研究。我們不僅進行特別深奧的純理論研究，繼續挑戰極限，繼續提高認知的精確性，我們還和 Windows 合作，把那些科技帶給 Windows 開發者。SAPI 是業界第一個基於 Windows 的語音API。

主持人：哇！

黃學東：這是一個相當漫長的過程。緊接著，我帶著我的團隊最終離開了研究部門，加入了產品小組。我帶著團隊到了產品小組，與我同行的還有一個優秀的微軟語音研究小組。這是我在微軟27年的精彩經歷。2004年，在我們發布了語音伺服器之後，我停止了語音研究，我開始做很多事情，包括啟動研究孵化。當 Satya Nadella 運營 Bing 時，我曾擔任建築師。

然後，當 Harry 管理研究和技術小組時，我幫助孵化了一系列人工智慧項目，像GPU集群，Project Philly，深度學習工具包 CNTK 等基礎項目。大概三年前，我有幸回來管理了一個結合語音和語言的小組。基本上，我們能夠整合所有語音和翻譯的資源。這就是我的故事，我的經歷，精彩的 27 年。

主持人：現在語音語言研究是在哪裡進行？

黃學東：就像我說的，我們在研究小組和產品小組之間來回移動了很多次。現在，我們在雲端和人工智慧小組，這是一個產品小組。我們是這些雲服務的一部分，並且，我們提供了整個公司和整個行業範疇的語音翻譯服務。我們也有進行語音和對話研究，他們運行的像個研究小組。

黃學東：他們都是那個小組的研究人員。就像 Rick 說過的，科研成果轉化是一個需要各部門配合的事。在我們微軟這兒，其實已經不僅僅是各部門緊密配合，我們就是整個一體的。

主持人：在研究模式上仍然具有前瞻性….

黃學東：既有前瞻性，又有充分依據。我們必須腳踏實地地提供服務，從基礎設施到服務成本，還必須站在高處去展望未來，去定義人們需要的、想要的解決方法是什麼，即使現在這個解決方法可能不存在，或者他們可能還不知道是什麼。

主持人：我們來具體談談您前面提及到的研究里程碑。這應該會很有趣。您剛剛涉及到三個領域：對話式語音識別，機器翻譯以及對話問答。讓我們從對話式語音識別開始。在 2016 年，您領導了一個團隊，在抄錄對話語音上達到了能和人類媲美的歷史水平。跟我們說說吧，它是什麼的一部分，是如何產生的？

黃學東：在 2016 年，我們在廣泛使用交換機會話轉錄任務上達到了和人類媲美的水平。這項任務在研究界和工業界可能已經使用了十多年。在 2017 年，我們重新定義了這個裡程碑，要達到能夠和人類媲美的水平。在轉錄任務上，我們不是簡單地和一個人在競爭，我們是和一群人競爭。我想說，2017 年是一個歷史性的時刻。將微軟語音堆棧和各個小組的人進行比較，轉錄相同任務，它的表現優於這四個小組的總和。當我用它挑戰我們的研究小組的時候，沒有人想到它可能勝出。但是令人驚訝的是，在不到兩年的時間裡，在我們有了信念，有了資源，有了焦點的時候，奇蹟真的發生了。這對團隊，對科學，對技術堆棧來說都是一個美妙的時刻。這是我個人職業生涯中第一個能夠達到與人類相媲美的水平的里程碑。

主持人：我都想對該領域做一翻研究了，您剛剛所說的這些都非常有趣：在兩年的時間裡，沒有人相信這件事能夠實現，然而你們最終成功做到了。還請您給我們分享更多關於如何讓語音轉錄實現人類水平的技術層面的東西。

黃學東：所以，如果你查看一下語音研究歷史，就能發現很多被後人反覆使用的突破性成果都是由我們這個語音研究組所開創的。以翻譯為例，在上世紀 70 年代早期，即便是在語音研究領域，語音識別更多使用的還是傳統 AI ，例如基於規則的方法、專家系統等。

IBM Watson 在研究中開創地提出統計語音識別方法，使用隱馬爾可夫模型以及統計語言模型來實現語音識別，極大地推動了該領域的發展。因而，這也成為了語音領域的一個高光時刻。之後，來自 IBM 同一個語言研究組的研究者們又將語音識別所採用的這一思路應用到了翻譯中，真正實質性地提高了翻譯質量，再次改寫了翻譯歷史！

隱馬爾可夫模型之後，語音識別領域開始使用深度學習方法，即神經語音識別。於是，翻譯再一次汲取神經語音識別的思路，開始使用神經機器翻譯的方法，讓整個翻譯領域再度獲得進展。所以你可以從中看到其他領域利用語音領域研究者所開創的技術的鏡像。實際上，語音領域的研究者們一直在引領著技術的開創性進展，比如眾所周知的由 DARPA 創建的系統基礎測試，就採用了非常嚴格的評估標準，真正改變了科學以及工程的評估方式。

主持人：是的。

黃學東：實際上，語音語言技術能給語音以外的其他領域帶來了很多可以廣泛利用的經驗。所以，我們一直在訓練研究團隊來處理艱巨的問題，這樣看來，我們的同一個研究團隊實現了這些歷史性的里程碑也就不足為奇了。

主持人：好，接下來讓我們來聊一下另一個里程碑：在 WMT-2017 的中英文新聞自動翻譯任務中實現人類水平。對此，我在訪談節目中還跟 Arul Menezes聊了下關於這項成果的所有事情。但是我還是了解一下您怎樣看待以及是否認為現在機器翻譯可以媲美傳統的人工翻譯？以及為什麼這項成果對於打破人類和文化間的壁壘而言，是一項重要的突破性進展？

黃學東：我的研究團隊所取得第二個實現人類水平的突破性成果同樣也令人興奮。正如我所說的，交換台會話語音（Switchboard Conversational Speech）轉錄就是一個偉大的里程碑。但是它確實還處於非常低級的水平，即還處於感知 AI 的水平。而翻譯則是一項介於感知 AI 和認知 AI 之間的任務。當然，翻譯是一項難度更大的任務，並且也沒有人相信我們能夠取得這樣的成果。因而我們設立了一個目標：在五年時間內，看看我們能否讓機器在句子級別的基礎翻譯任務上實現人類水平。所以我也非常想在這裡向大家分享這個故事。當人類如你如我在翻譯時，我們會去看句子的整個段落，從而也有更加寬廣的上下文語境，我們的翻譯工作也做得更好。相對於廣泛意義上的翻譯，WMT 中對人類的水平有一些限制，因為它針對的只是句子級別的新聞翻譯。

主持人：嗯哼。

黃學東：所以，我們所開展的其實是一個廣泛開放的研究——公共基準測試。即便是這樣，我們認為也可能需要花費五年時間。所以，我們採用了同樣的原則：基於交換台語音識別轉錄的成果來開展研究。但是實際上這一次，我們對這一步有所超越。由於任務是將中文翻譯成英文，因此我們與微軟在北京的研究團隊一起合作。所以，跨越了太平洋的多個微軟亞洲研究院團隊在數個日日夜夜中展開了合作研究。令人驚訝的是，這群研究者給所有人都帶來了驚喜：我們在不到一年的時間內就實現了這一目標，讓機器翻譯實現了人類水平，這也是機器所實現的歷史最佳翻譯水平，同時，經我們的科學家評估，其比專業翻譯人員在同一任務上的表現更加出色。這一刻，我們真的創造出了奇蹟。我為該研究團隊以及這次合作感到無比自豪。

主持人：我非常想聊聊您的另一個非常有意思的研究成果，也就是您稱作 COQA 的問答數據挑戰賽。顯而易見，我們在談論的就是能夠跟我們進行問答對話的計算機。請你給我們分享一下，這一在語音識別技術中最像人類或者說難度最大的任務，接下來要開展的工作是什麼？

黃學東：COQA 問答數據挑戰賽是由斯坦福大學的研究者開創的一項比賽，它甚至與認知 AI 要更接近些，它實際上是一個涵蓋了會話、對話以及相關任務的機器閱讀任務。假設你在閱讀某段文字，然後讓讀者挑戰正確回答一連串相關的問題。例如，如果你閱讀了一段關於比爾蓋茨的文字，第一個問題有可能就是：「誰是微軟的創立者？」第二個問題則會與第一個問題相關：「此人在創立微軟時年齡多大？」之後的問題可能是：「當此人退休時，他年齡多大？」所以，上下文的相關性比簡單的機器閱讀要難，因為需要你回答一連串與給定上下文相關的問題。

因此，對於這一最新突破，我必須重點向我們在北京研究實驗室的同事們表達我的讚賞。同時，我們也一直在利用共享的資源和基礎設置來共同開展這一開創性的研究工作，這真的很棒。同時，我們完成這項驚人的會話問答挑戰賽的敏捷度以及速度，都讓我印象時刻。其中的主力研究者現在都在北京，而他們也將在幫助微軟再一次在這項廣受關注的 AI 任務上首度實現人類水平中，扮演重要的支柱性的角色。沒有人會相信有人能夠在如此短的時間內在這項傳統的 Q&A 任務上實現人類水平。因此，雖然我們一開始預想這一目標要花費2年時間，但是最終，我們再一次打破了歷史記錄。

主持人：我們已經聊了一些關於你正在開展的研究工作以及如何開展的偏技術的話題。對於如何開展相關研究工作，您是否還有任何能夠用來攻克這一 Q&A 任務的其他方法論或技術？

黃學東：微軟在 AI 領域已經積累了長達三十年的研究經驗，不是嗎？微軟在北京的自然語言研究組在過去的二十年時間裡，也一直在研究 Q&A 任務，他們在積澱了很多先天優勢的同時，也積累了很多經驗。同時，我們基本上使用深度學習和遷移學習來完成Q&A任務。因此，我們的成功是基於整個研究領域的成果所獲得的。

主持人：嗯嗯。

黃學東：就比如說谷歌發布了一項特別棒的技術——BERT......

主持人：BERT是字母縮寫嗎？

黃學東：是字母縮寫，它是一項嵌入技術。我們的研究成果就以這項技術為基礎進行了延展，因此我們的成功也有它的一份功勞。這也是我們能夠取得機器翻譯實現人類水平這一突破的方法。

主持人：嗯嗯。

黃學東：這其實也是整個研究領域的一個映像。我剛剛所談到的微軟亞洲研究院團隊與其在美國的團隊之間的合作，實際上更是整個工業界之間合作的一個範例。

（音樂響起）

主持人：您在節目中向我們所描繪的這些都非常令人興奮：在一切事情朝著正確的方向發展之後，一旦成功，我們就必須去解決那些有可能朝著錯誤方向發展的事情。

黃學東：是的。

主持人：您希望計算機能夠聽、聽見、說話、翻譯、回答問題以及最基本地，與人類進行交流。那是否有什麼事情讓您感到焦慮？

黃學東：完全有。實際上我的擔憂就是，未來某一天人類會太過依賴於 AI。然而 AI 永遠都不可能變得完美無缺，它會帶有一系列獨特的偏見。因此，我非常擔憂這一人類無法發覺的影響。

主持人：贊同。

黃學東：所以如何應對這一擔憂，實際上是我們需要意識到並且亟需解決的廣泛的社會議題。因為正如我們每個人一樣，一旦我們擁有一個我們依賴的助手，我們就完全能夠了解到這個助手給我們帶來的影響有多大：他會改變你的議程，甚至改變你的觀點。而 AI 終有一天將會扮演與助手相同的角色。我現在最擔憂的莫過於怎樣解決 AI 的偏見問題。

主持人：是的。

黃學東：如果一切順利發展，這個問題必將真正成為我們必須應對的重要議題。我們需要學會解決這一問題。而現在我們還不知道怎麼解決，則是因為我們現在還沒到那一步。

主持人：因此，您在創建這些能夠說話、傾聽以及交談的工具時，就將「設計思維（design thinking）」引入其中，因為最重要的事情之一就是人類有能力將人類的品質轉嫁到非人類的事物中......

黃學東：我只能相信，現在研究 AI 的研究者們有足夠的責任感。好消息就是，我們現在還沒到那一步，不是嗎？所以，我們還有時間來共同應對這一挑戰，並確信 AI 將會真正朝著服務人類而不是毀滅人類的方向發展。這就是現在最大的擔憂......

主持人：是的。

黃學東：......這也是現在讓我保持清醒的問題。但是我短期的擔憂其實是：AI 還不夠好！至少現在還不夠好！

主持人：明白。

黃學東：正如比爾蓋茨常常提到的，人們總是高估我們在短期內能做的事，而低估這些事情所帶來的長遠影響。在這件事情上，我們不能低估它的長遠影響。

主持人：是的。

黃學東：長遠的里程碑。

主持人：了解。接下來是故事時間。

黃學東：嗯，不錯！

主持人：能分享下您個人相關的故事嗎？是什麼讓您對尤其是語音、語言技術領域的研究感興趣？以及能否分享下您加入微軟的歷程？

黃學東：好的。我畢業於北京的清華大學，當時我的第一台電腦是Apple2。你可能也了解，中文語言很難被輸入到電腦上，所以輸入過程非常繁瑣。因此，我堅信實現語音識別非常有必要。當時，我作為清華一名研究生，夢想其實就是在 AI 領域做研究。同時，當時清華研究生院的 AI......

主持人：是的。

黃學東：......不可思議地匯聚了一大批教授和科教人員，他們都有著長遠的見解，並為我們創造了開拓性的探索和實驗環境。因此，我在這裡接著完成了我的博士學位。自1982年被清華錄取後，我就加入了一個博士項目，並且一直從事語音識別的研究工作。讓人類真正與機器交流變得更簡單這個夢想，在我的世界從未消失。迄今為止，我在語音識別上的研究生涯已走過了30 多個春秋。即便在微軟工作的一段短期時間裡，我曾暫停語音方面的研究工作，但我從事的研究工作依舊是與語音相關的。所以，我打心底里認為，這是我與語音研究之間的一個非常美妙的故事。而我個人也在這個過程中收穫了很多有趣的經歷。正如我剛剛提到，當我在清華大學上學的時候，用中文在計算機上打字還是一件非常難的事情，所以在清華博士畢業後，我去了蘇格蘭的愛丁堡大學深造......

主持人：了解。

黃學東：......並在那裡獲得了博士學位。而當我第一次進入愛丁堡大學的時候，我個人非常痛苦的地方其實在於——我知道了英式英語的存在，因為中國大部分的英語都是美式英語。然而由於英式英語並非我的母語，所以這對我來說，並不是很「吃香」。並且我聽蘇格蘭教授講課......

主持人：噢，天哪！

黃學東：......真的非常具有挑戰性。不過非常感謝 BBC 關掉了字幕。

主持人：有趣。

黃學東：所以我是通過看 BBC 真正學會了蘇格蘭英語。並且我必須要提到的是，現在微軟的PPT可以使用自動顯示字幕的技術了。那段個人的痛苦經歷對於微軟的PPT 團隊在研發這款產品中所考慮的各種功能來說非常具有吸引力，同時它對於我個人而言也是一種很好的獎賞。

主持人：是的。

黃學東：我非常開心能夠看到我研究出來的技術成果能夠幫助更多將前往蘇格蘭大學求學的人。

主持人：您也知道，Arul 之前也聊過關於 PPT .....

黃學東：是的。

主持人：....的服務，同時他也提到那些有聽力障礙的人。

黃學東：嗯嗯。

主持人：現在您賦予了它一個全新的（意義）.....

黃學東：它更加廣泛.....

主持人：完全是！

黃學東：......由於語言障礙一直都會存在，並非每個人都能流利地用語言表達。我招待過很多旅遊者，基本上每年我都會招待清華大學的MBA 學生，他們也都在學習英語，但是他們聽英語和使用英語交流的能力基本上無法跟這裡的當地人相比。所以，在PPT 軟體中提供字幕功能，能夠幫助他們所有人......

主持人：是的。

黃學東：.......更好地學習和理解英語。所以，即便沒有翻譯，這個功能的應用場景也非常廣泛。這就是一個簡單的事實：我們有了字幕，就能加強溝通。

主持人：確實。之前我們聊過了不同的語言和方言，但是我們還沒有真正探討過語言的口音問題。我是說，即便在美國，即便你是美國當地人，你去美國的各個地方都有可能遇到不少難以理解的時候，這都是由於各個地方的口音都大不相同。

黃學東：這也是為什麼我的蘇格蘭英語會變成一個好故事！同時我希望我還能保留些蘇格蘭口音。

主持人：我聽得出來您的蘇格蘭口音！在每期博客的最後，我都會對邀請嘉賓最後說一句話 。由於您在人類語音技術領域從事研究，這句話非常適合對您說。現在，您有機會向可能正在致力於讓計算機實現與人類交談和溝通的聽眾說任何您想說的話。他們應該從哪裡入手研究？

黃學東：研究語音和語言！它是真正鑲在 AI 皇冠上的明珠。在我看來，AI 領域再沒有比語音和語言研究更具挑戰性的任務。尤其是當你想要讓感知 AI 發展到認知 AI 時，更是如此。讓機器獲得推理、理解能力，並通過閱讀、交流獲得知識，便是改善人類生活、提高人類生產效率，讓這個世界不再有語言、溝通和理解障礙的最基本的研究領域。

主持人：感謝您今天受邀參加我們的博客節目。您給我們分享的東西真的非常棒。

黃學東：我的榮幸。

雷鋒網註：本文編譯自Microsoft Research Blog

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！