王爾玉：語言與語義識別的技術發展與趨勢

關注雲加社區提升技術能力

第一時間獲取技術乾貨

12月15日，由騰訊雲主辦的首屆「騰訊雲+社區開發者大會」在北京舉行。本屆大會以「新趨勢?新技術?新應用」為主題，匯聚了超40位技術專家，共同探索人工智慧、大數據、物聯網、小程序、運維開發等熱門技術的最新發展成果，吸引超過1000名開發者的參與。以下是分會場的演講內容，稍作整理，分享給大家。

語音和語義識別在當今人工智慧領域中佔據重要地位，微信智聆致力於語音技術的研究和落地，提供的AI 語音識別技術，能夠實現現場同傳、語音實時轉文字等多種功能。本次演講將會從微信智聆語音技術發展入手，從技術角度分析其在移動產品線產品以及多種解決方案中的應用原理。

隨著機器學習與大數據技術的發展，我們語音和語義識別在生活中佔據大部分的地位。那麼，語音語義識別在後面發展中有什麼趨勢呢？

語音識別，我們從技術上看，分了幾個模塊，開始是特徵提取，然後是聲學模型，字典和語言模型，最後是解碼技術。特徵提取是把語音信號變成適合語音識別的特徵，把連續的語音信號變成一個離散的信號序列。聲學模型的目的是把聲音特徵映射成連續的一些音素的序列。字典是通過查表的方式，把音素序列變成某一個詞，然後再通過語言模型中多個詞前後的搭配關係，把詞序列變成完整的一句話。語音識別技術就是圍繞這幾個環節來的。

語音識別技術簡史

技術發展基本上經歷了幾個階段。

2009年之前的語音識別技術，我們這裡姑且稱它為傳統語音識別系統，這時候特徵是用MFCC和PLP。這個階段HMM-GMM是主流的聲學模型建模方式，HMM負責時序關係，GMM負責每一幀的分類。

2009年之後，DNN被成功的引入語音識別領域，這帶來了系統性能的極大提高，此後CNN，LSTM等技術陸續被引入，聲學模型和語言模型都可以使用深度學習技術來建模。

2014年左右，CTC技術擺脫了對於HMM的依賴，可以直接利用網路本身的記憶能力來序列建模。

再往後就是端到端的技術，在圖像和機器翻譯也用了很多。比如說第一個是CTC，直接將輸入和輸出關聯起來，不需要區分聲學模型和語言模型性。第二個是Encoder-decoder加上Attention機制，這也是源於機器翻譯。

微信智聆語音平台

後面我們講一下微信智聆語音的技術積累。

我們成立於2011年，現在有7年，團隊規模30人，主要做的方向是語音識別、語音合成、聲紋識別，語音評測等領域的研究和相關的應用。服務對象主要是To C的app，還有一些To B的業務。

具體講一下，第一塊是前端信號處理。首先是VAD技術，判斷當前信號是否是有效的語音。但是語音信號並沒有這麼簡單，裡面會包含有一些笑聲或者音樂等，這些片段，並不是語音識別所關注的，這裡我們引入了音頻事件分類技術，在信號中選取有效的語音部分。語音信號裡面，還有很多背景雜訊，比如背景人聲、機場廣播的聲音，這時候我們需要一些降噪技術，來減小這些干擾。再往後很多人說話的場景，往往需要把不同的人區分開，說話人分割技術就是為了解決這個問題，提取出來想要的那個說話人的語音文本。

第二塊是我們現在語音識別技術上的一些基礎能力。首先是數據，我們在積累和收集數據的同時，也會通過一些數據合成方式來豐富數據的多樣性。然後是，我們擁有大規模的GPU集群，在上面可實現多機多卡的並行訓練和解碼，可以滿足各種各樣深度學習模型的訓練。在聲學建模層面，我們可以根據不同的任務場景，選擇合適的建模技術。在語言建模層面，我們擁有在線LM重估、RNN LM、時效更新、反饋糾錯等技術。

我們近場語音識別，大概的性能，在輸入場景下，識別率平均是97%。長語音的轉寫平均性能是90%左右。在地鐵和公交等一些雜訊場景下，識別率在87-88%左右。

後面簡要介紹一下我們在用的一些比較獨特的建模方式。第一個是多目標的中英混合建模方式，提高混合說場景下的識別率。第二個是自定義語言模型的技術，可以快速提高垂直領域的專有辭彙等的識別率。

微信智聆雲端案例

講一下我們的應用案例。首先是手機上APP的近場應用，這塊落地50餘款app，每天有4億請求。第二個是電話客戶需求，我們有交通、金融、教育、保險等垂直場景的解決方案。目前雲端接入量是每天3萬小時，同時我們也提供私有化部署。

騰訊同傳是為了滿足國際會議現場雙語字幕上屏，或者提供會議紀要，今年服務了100多場會議，包括博鰲亞洲論壇，世界人工智慧大會，中國首屆進口博覽會等國際頂級會議。

另外一個應用場景是公檢法，這裡我們提供說話人角色判別，麥克風陣列等技術，主要是用在法庭審訊和公安問詢。

最後是騰訊雲小微，給智能硬體提供語音交互的能力，目前主要應用於音箱、汽車、機器人、電視等。

關注云加社區，回復

3加讀者群

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！