語音合成TTS技術發展方向

一、TTS概念

TTS是Text to Speech的縮寫，即「從文本到語音」。它將計算機自己產生的或外部輸入的文字信息轉變成可以聽懂的、流利的語言輸出。

二、TTS技術發展方向

TTS技術發展主要分為主流合成技術和最新發展方向。

1、主流合成技術

主流的實現方法主要有拼接法和參數法，具體詳見（AI技術通識系列（6）——語音合成TTS）【1】。

2、最新發展方向

1）、波形統計語音合成

概念：

谷歌DeepMind首先提出的WaveNet方法，基於深度學習的語音合成模型，不會對語音信號進行參數化，使用神經網路直接在時域預測合成語音波形的每一個採樣點。

優勢：

音質比參數合成系統好，略差於拼接合成，但是比拼接合成系統更穩定。

劣勢：

由於需要預測每一個採樣點，需要很大的運算量，合成時間慢。因此對於實際應用來說，沒辦法直接用在產品上。

2）端到端語音合成

百度Deep Voice 1

概念：

百度Deep Voice 1 是一個由深度神經網路建立的文本轉語音系統。它不僅能實時運行，同時還能夠足夠快速的合成音頻，因此Deep Voice 1可以應用於媒體和會話介面等交互性應用。通過訓練由大量數據和簡單特徵（音素、重音標註、音素髮音時長、基頻F0）（注意不是人工定製的數據）創造的深度神經網路，創造一個靈活的高質量實時音頻合成系統。

優勢：

音頻合成速度快，基本做到實時語音合成，相比WaveNet速度快400倍；

採用非常少的特徵工程，因此易於應用於不同的數據集；

訓練數據集需要20小時，但只需要3-5個小時就能得到很高質量的音頻結果。【2】

百度Deep Voice 2

優勢：

相比Deep Voice 1 ，二代可以合成多說話人；

Deep Voice 2訓練數據不需要單一說話者20小時的音頻，只需要每個說話者不到半小時的數據就能學會數百種獨特的聲音，同時還能實現非常高的音頻合成質量並幾乎完美的保留說話人的身份。【3】

百度Deep Voice 3

概念：

Deep Voice 3採用一種新穎的用於語義合成的全卷積架構，可以用於非常大規模的錄音數據集。

優勢：

可以在半小時內學習一種聲音，總共可以同時「掌握」2500種聲音，這將可以應用於很多場景，如有聲小說或視頻遊戲中每個角色都可以有自己獨特的聲音，這會有效提升用戶體驗。

Google Tacotron

概念：

Google推出從文本中直接合成語音的文本轉語音系統。

優勢：

減少特徵工程，只需要輸入文本和對應的語音進行訓練，其他特徵模型自己學習；

各種條件方便添加，例如語種、說話人、情感等；

劣勢：

模型複雜，用端到端方式合成語音，雖然省去中間步驟，但模型複雜，不好調試，不好訓練。

模型除錯難，對於某些文本發音錯誤，想要糾正時，需要重新準備數據，並進行再次訓練，代價陳本高。

人為干預能力差，參數合成法可以人為指定語速、重音、斷句、停頓、韻律等信息，進行個性化合成，但端到端很難加入人為控制，很難進行產品化。【4】

Google Tacotron2

概念：

Tacotron 2用於直接從文本合成語音的神經網路架構，是在過去研究成果Tacotron和WaveNet上的進一步提升，相比較專業錄音水準的MOS值4.58，Tacotron 2取得4.53的MOS值，但無法實時生成語音。

Facebook VoiceLoop

概念：

VoiceLoop是Facebook提出的一種新的TTS神經網路，它能將文本轉換為在室外採樣的聲音中的語音，且該網路架構比現有的網路架構簡單。

參考資料：

【1】AI技術通識系列（6）——語音合成TTS（https://note.youdao.com/share/?id=b4b19569ce04cb4204245c37b2fe881d&type=note#/）

【2】百度Deep Voice作者與Bengio團隊切磋五大技術細節，端到端的語音合成還有多遠（https://www.leiphone.com/news/201703/4uvrPThDMOEGnpbD.html）

【3】Deep Voice 2: Multi-Speaker Neural Text-to-Speech（http://research.baidu.com/deep-voice-2-multi-speaker-neural-text-speech/）

【4】深度學習於語音合成研究（https://zhuanlan.zhihu.com/p/30776006）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！