對話微軟黃學東：語音和語言技術是真正鑲在AI皇冠上的明珠

新智元報道

來源：microsoft.com

編輯：肖琴

【新智元導讀】微軟全球技術院士、首席語音科學家黃學東近日做客微軟播客節目，聊了聊在語音和語言技術取得的幾個里程碑式的突破，解釋了掌握語音識別、翻譯和對話將如何讓機器從 「感知 AI」 進化到 「認知 AI」，更接近真正的人類智能。

「語音和語言技術是真正鑲在人工智慧皇冠上的明珠。」

已經在語音和語言技術領域耕耘了30年，取得多個突破性進展的微軟全球技術院士 (Technical Fellow)、首席語音科學家黃學東先生如此說道。

近日，黃學東做客微軟播客節目，聊了聊他和團隊在語音和語言技術取得的幾個里程碑式的突破。

黃學東解釋了掌握語音識別、翻譯和對話將如何讓機器從 「感知 AI」 進化到 「認知 AI」，更接近真正的人類智能。

此外，黃學東也談到他如何走上語音研究之路，以及他在清華大學和在微軟的人生歷程。

採訪音頻：

語音和語言將推動人工智慧的進化

主持人：黃學東先生，歡迎來到微軟播客。

黃學東：謝謝。

主持人：您是微軟語音和語言組的 Technical Fellow，負責領導微軟的語音工作。我們將在稍後深入討論這些，但首先，作為公司的首席語音科學家，請概括地告訴我們你的工作內容是什麼，以及為什麼要做這些。你早上起來的動力是什麼？

黃學東：我們所做的就是確保我們擁有最好的語音和語言技術，可以用於各種各樣的場景。我們有一整個團隊在做這件事情，因為對話不僅是人們最自然的交流方式，而且這是 AI 最大的挑戰。我們嘗試真正地推動這個領域的突破，在我們的雲服務 Azure Services 上提供出色的服務，並確保我們能夠讓微軟內部和微軟之外的客戶滿意。如果你想釐清整個事情，主要有三個方面。

首先，我們有能力去真正提高語音識別的準確性，去驅動語音合成的自然性，以及確保機器翻譯的準確性，例如從英語翻譯成漢語或法語或德語。因此，這背後有很多科學，要確保準確性，自然度，延遲時間，這些技術都是世界級的。這是一方面。

第二方面是，我們不僅提供技術，我們還通過 Azure 提供服務。從 Office 到 Windows, Cortana，它們都依賴於相同的雲服務。我們也有邊緣設備，比如我們的語音設備 SDK。我們想要確保在邊緣和雲端的語音技術都是以現代的方式提供的，即雲平台和嵌入式平台。這是第二方面：平台是現代化的。

第三個方面，是向客戶表達我們的愛。因為我們在世界各地都有廣泛的客戶，我們想讓消費者滿意，並確保使用我們的語音翻譯的客戶體驗是一流的。

主持人：是的。

黃學東：這就是我實際上在做的三件關鍵事情：提升 AI 能力，使我們在雲端和邊緣設備的平台實現現代化，以及愛我們的客戶。

主持人：嗯，所以你們有很多團隊在這些小組中工作，來解決這些核心問題。

黃學東：是的。我們在世界各地都有團隊。並且，這些團隊的多樣性是很驚人的，因為我們正在努力解決的是語言障礙。因此，我們在中國有團隊，在德國、以色列、印度和美國都有團隊。我們的工作是全球範圍的，嘗試努力去解決這些語言挑戰。

主持人：首先，我想引用你的話為我們今天的談話做鋪墊。你說：「語音和語言是人工智慧皇冠上的明珠。」 請為我們解釋一下吧。

黃學東：嗯。我們可以從人類進化的範疇來思考。在某個時期，語言誕生了。這加速了人類的進化。你可以想想這個星球上所有的動物，你知道的，有些動物跑得比人類快，有些動物視力比人類好……

主持人：有些動物的牙齒也更鋒利。

黃學東：…… 尤其是在夜裡。

主持人：動物更強大。

黃學東：是的。事實上，動物的聽覺和嗅覺都比人類更好，但只有我們人類才擁有語言。有了語言，我們能夠更好地組織，能夠用科幻的術語去描述，能夠自我組織，能夠編寫憲法。所以，是語音和語言使我們有別於其他動物。對人工智慧來說，語音和語言將推動人工智慧的進化，就像它推動了人類的進化一樣。這就是為什麼說它是鑲在人工智慧皇冠上的明珠。

主持人：原來如此。

黃學東：而且它還很堅硬，難以破壞。

主持人：是的。關於這個話題有一個哲學討論，但它引出了一些有趣的問題。假如你在機器語言方面取得了很大的成功，那麼，這些機器是什麼？

黃學東：讓我們發揮一點想像力……

比如說，我們假設計算機可以理解 300 種語言，能夠流利地交流和對話。但我還從沒遇到過一個會說 300 種語言的人。機器不僅能夠用 300 種語言流暢地交流和對話，還能夠領會、理解、學習和推理，真正完成所有學科的博士課程。這種知識的獲取、推理，是任何人的個人能力所不能及的。當那一刻到來的時候，你可以想像 AI 將會有多麼聰明。

主持人：這是你想像出來的嗎？

黃學東：是的。我認為這個世界會變得更美好。就在幾周前，我去了日本，我手機上安裝了微軟翻譯軟體。我能真正地與不會說中文或英文的日本人交流了。這已經實現了。微軟翻譯可以說我不會講的語言，幫助我在日本時更有效率。

主持人：我完全同意。但想到這個機器，我就有點害怕。

黃學東：但是你要知道，智能有兩個層次。第一個層次是真正的感知智能(perceptive intelligence)。就是看、聽、聞的能力。更高層次的是認知智能(cognitive intelligence)。就是推理、學習和獲得知識的能力。我們今天所取得的 AI 的突破，大多是在感知層面的，如語音識別、語音合成、計算機視覺等。但是高層次的推理和知識獲取，即認知能力，AI 離人類的水平還很遠。

主持人：是的。

黃學東：我對翻譯感到興奮，因為它實際上是介於感知智能和認知智能之間的。我們能夠真正地在感知智能上取得成功，並擴展到認知智能。這是一個相當漫長的過程。

主持人：是的。

黃學東：我不知道我們什麼時候才能達到那個裡程碑。但那一天會到來。這只是時間問題。可能需要 50 年的時間，但我認為這是會發生的。

微軟語音技術研究之路

主持人：我們會在下回的播客中討論這個裡程碑，因為今天已經有好幾個里程碑要討論。但首先，我想回顧一下歷史。你已經在微軟研究院工作了很長時間了，在 Rick Rashid 成立微軟研究院的時候，語音組是第一批研究組織。根據 MSR 的傳說，這個組織的目標是 「讓語音成為主流」。請給我們簡單介紹一下微軟研究院的語音歷史。這項研究是如何從早期的 「不主流」、「敢於冒險，但離成功還很遠」 發展到今天幾乎應用在微軟所有產品中？

黃學東：在加入微軟研究院之前，我在匹茲堡的 CMU 任教。Rick Rashid 當時是 CMU 的教授。我當時是初級教員。所以，我當時主要是在 CMU 做關於語音的研究。微軟伸出了橄欖枝，他們想成立一個語音組。所以，實際上，我在 1993 年元旦假期後的第一天就搬了家，從匹茲堡飛往西雅圖，開始了在微軟的旅程，並從未改變。這就是微軟語音的開端。我們是一個研究團隊，致力於為開發者帶來語音技術。

主持人：所以，不是沒有實用價值的研究……

黃學東：不是的。因此，我們從 CMU 獲得了技術許可。我們就是這樣起步的。我們非常感謝 CMU 在這一領域的開創性研究。雖然是研究團隊，但我們發布了第一個語音 API，叫 SAPI，用在 Windows 95 上。作為一個研究團隊，我們對此感到非常自豪，因為通常研究團隊只是做基礎研究。我們不僅做了基礎研究，還繼續挑戰極限，繼續提高識別精度，我們還與 Windows 合作，把這項技術帶給了 Windows 開發者。SAPI 是業界第一個基於 Windows 的語音 API。

主持人：哇。

黃學東：那真是一段很長的經歷。後來，我最終離開了研究部門，加入了產品部門。跟我一起轉入產品部門的是一個優秀的微軟語音研究組。這是我在微軟 27 年的經歷。我在 2004 年之後就不再做語音了，在我們發布了語音伺服器之後，我開始做了很多不同的事情，包括孵化研究。

在薩蒂亞?納德拉 (Satya Nadella) 負責 Bing 的時候，我還做過 Bing 的架構師。然後，在 Harry 負責研究和技術團隊時，我幫助孵化了一系列人工智慧項目，包括 GPU 集群、Project Philly、深度學習工具包 CNTK 等基礎項目。當然，還有語音研究，還包括其他高端解決方案。

大約三年前，我有幸回來負責語音和語言組。我們基本上整合了所有在語音和翻譯方面的資源，這就是我的經歷。精彩的 27 年。

主持人：語音和語言組在屬於哪個部門？

黃學東：正如我說的，我們在研究部門和產品部門之間來回了很多次。現在，我們屬於雲和人工智慧部門。這是一個產品團隊。我們是雲服務的一部分，向全公司和全行業提供語音和翻譯服務。我們也有語音和對話研究。他們更像一個研究團隊。

主持人：是的。

黃學東：那個組裡全是研究人員。正如 Rick 說的，技術成果轉化是一項需要各部門配合的事情。我們不僅是各部門緊密配合，我們已經成了一個整體。這是一個非常令人興奮的團隊，有一群非常有才華、非常有創新精神的人。

主持人：所以，在研究模式上還是很有前瞻性的……

黃學東：不僅是有前瞻性，而且是有充分依據的。我們必須腳踏實地提供服務，也要站到未來的高度，去定義人們需要的和人們想要的解決方案是什麼，即使現在這個解決方案尚不存在。

三個里程碑：語音識別、機器翻譯和對話問答

主持人：讓我們來談談你參與的一些研究里程碑。它們真的很有趣。你參與了三個領域：對話式語音識別、機器翻譯和對話問答。讓我們從語音識別開始。2016 年，你帶領的團隊在轉寫對話語音方面達到了人類水平的歷史記錄。請說說這是什麼怎麼一回事，是怎樣做到的？

黃學東：在 2016 年，我們在廣泛使用的 Switchboard Conversational Transcription 任務上達到了媲美人類的水平。這項任務在研究界和工業界可能已經有十多年了。2017 年，我們重新刷新了這個裡程碑，不是和一個人比較，而是和一群人比較，轉寫同樣的任務。所以，我認為 2017 年是一個歷史性的時刻。轉寫相同任務，微軟語音堆棧的表現優於所有四個團隊的總和。最初我向我們的研究小組提出挑戰時，沒有人認為能做到。但令人驚訝的是，當我們有了信念，有了資源，有了專註的焦點，奇蹟真的發生了，只花了不到兩年的時間。所以，對於團隊，對於科學，對於技術來說，那確實是一個美妙的時刻。那是我個人職業生涯中實現的第一個達到與媲美人類水平的里程碑。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！