RTC從醞釀到爆發，這些爆款實時互動場景為何能被催生？

距離 9 月 7 日 - 9 月 8 日由聲網 Agora、極客邦科技聯合主辦的 2018 RTC 實時互聯網大會召開還有 1 個月時間，大會演講嘉賓已經就位，分享議題漸露崢嶸。從議題來看，在實時互動架構、音視頻編解碼等傳統話題之外，機器學習、AR、IoT 與實時技術結合方面的探討也佔據頗多演講席位——RTC 技術的不斷發展和演進，催生出很多創新應用場景；它與一些前沿技術所發生的化學效應，也讓一些實時互動場景下想像不到的技術走向了聚光燈。

1

RTC 成為全球最受關注實用技術之一

在聲網 Agora 創始人 &CEO 趙斌看來，RTC 技術快速發展的本質是人類對「實時」與「互動」的需求逐漸強烈。伴隨著多個垂直領域的場景創新和深度應用，RTC 成為全球最受關注的實用技術之一。

近年來實時互動技術催生的「爆款」、風口和實用場景令人應接不暇， 比如之前的狼人殺、視頻社交、互動連麥直播，過去一年還有在線抓娃娃、HQ 直播答題、連麥小遊戲，同時還有金融、可穿戴、機器人、電商等行業應用場景。

這些都離不開過去幾年 RTC 技術的積累與演進。在過去的一年裡，WebRTC 實現了瀏覽器端上的統一，並推出了業界標準 WebRTC 1.0；在編解碼領域，H.264 和 H.265 實現了更多商用，AV1 為大平台逐漸推崇，低帶寬消耗的 4K 和 8K 高清也將很快成為現實；而國內小程序生態的日漸成熟，也讓其成為 RTC 技術新的主流平台之一。

從用戶和市場層面，聲網首席科學家鐘聲也有他的看法：從用戶角度來看，因為線上社交已成趨勢，人們在社交中對實時互動體驗的需求勢必會不斷增強，實時互動也就成為了社交產品中的標配；從市場角度來看，因為互聯網通信技術的積累與革新，實時互聯網將能提供越來越好的服務質量和用戶體驗，這會吸引更多產品通過實時音視頻來引導用戶消費，進一步提升變現能力。

不過華為媒體技術實驗室首席科學家王田也提出了 RTC 技術比較挑戰之處：技術上比較挑戰的是互動娛樂中雙向協同及多流協同，目前網路延時還難以支撐實時要求高的協同互動。

2

RTC 與 AI 等前沿技術結合 發生化學效應

在趙斌看來，RTC 技術與前沿技術之間，也在發生化學效應，這也是為何 RTC 2018 要設置一些前沿技術話題的原因所在。比如 RTC 與人工智慧、機器學習的結合，可以通過機器學習來進一步提升實時音視頻的傳輸質量，也可以通過機器學習來優化音視頻的後處理效果，優化超高清解析度的視覺體驗。再比如 RTC 與可穿戴、機器人等產品的結合，在網路基礎設施與傳輸質量不斷改進的情況下，實時音視頻通信也得以在這些產品以及相關行業中應用。

對此鐘聲進一步解釋：線上虛擬化的社交需要越來越多的「更接近現實」的互動式、沉侵式的體驗，AI，AR，VR 及 360 度全景等技術，會有效地幫助開發者進一步實現這一需求。

如果我們進一步對前沿技術與 RTC 的結合進行設想：RTC 未來的爆發契機是什麼，會是 AI、AR 或者 5G 嗎？王田對此的觀點是：AI、AR 技術會驅動互動娛樂更快發展，內容質量更高更有趣，智能程度更高；而網路技術的發展不僅僅是提供更大的帶寬，5G 引入了切片技術，未來網路如果能更好地支持低延時服務，可以實現更多互動實時應用。

王田這次 RTC 2018 的分享話題也是前沿技術相關話題——實時通信方面的技術研究和標準。實時動態 3D 建模技術挑戰仍然很大，研究與標準工作仍然處於早期階段，這個話題也是希望能讓大家對這一領域新的技術方向和標準進展有更多了解。

3

RTC 中哪些關鍵技術 會讓直播體驗進一步升級？

Twitch 是一個面向視頻遊戲的實時流媒體視頻平台，據我們了解，Twitch 決定採用 VP9 作為下一代編碼格式，並計劃在 2018 年年底開始對於觀眾數極高的電競賽事直播開始試運營。

對 Twitch 在選擇 VP9 的過程中，對於壓縮效率、封裝格式、播放器支持、法律風險、商業收益等各方面的考量，RTC 2018 邀請了 Twitch 首席研發工程師沈悅時進行詳細介紹，希望能給大家展示美國的主流互動直播平台在面對這個問題時的決策邏輯。

因為在盈利模式、行業生態、政策法規等很多方面都有很多不同，在沈悅時看來，國內外互動直播技術實現的最大區別是流媒體分發格式。國外基本上都採用 HTTP Streaming（比如 HLS、DASH）分片流，是播放器端往伺服器端拉流。國內主要採用基於 Flash 格式的實時流，是伺服器端往播放器端推流。分片流的設計主要考慮成本，但會導致延時過高。實時流的設計主要側重於低延時，但在國外的行業生態下會導致分發成本過高。

作為一個遊戲直播平台，Twitch 每個月能吸引超過 3500 萬的獨立 IP 訪問用戶，甚至在 2014 年出現了高達 1 億人的月訪問量。RTC 中的哪些關鍵技術，會讓直播體驗進一步升級？對於這個問題，沈悅時進行了詳解。

RTC 推流技術到目前為止還是主要針對點對點的視頻應用，比如說視頻會議、連麥等等。而直播是一對多的廣播應用，它對於延時的要求不像點對點那麼高，但對於畫質、卡頓率的要求卻高很多。並且因為同時在線的觀眾數可能會很大，導致直播對於可擴展性或者說對於分發成本非常敏感。

針對上述產品需求的差別，流媒體工業界新的研發動態很可能是開發一種新的直播推流技術，它既能發揮 RTC 推流技術的低延時特性，同時又可以擁有 HTTP Streaming 的高用戶體驗和高可擴展性。如果有了這樣的新技術，互動直播必將給觀眾以及主播帶來一種前所未有的新體驗。

4

圍繞 AV1 的標準之爭：機遇和挑戰共存

在最近的學術界和工業界，AV1 都獲得了廣泛關注。根本原因是 AV1 標準的壓縮效率優於上一代標準，更嚴謹的說法是目前基於 AV1 的 libaom，編碼效率高於基於 HEVC 標準的 x265， 或者其他版本的實現。

在 RTC 2018 上，Google 視頻壓縮核心演算法組軟體工程師陳誠會對 AV1 視頻壓縮標準進行綜述，從技術層面介紹視頻壓縮演算法的設計和應用，讓更多人了解 AV1 的整體概況、AV1 裡面提升壓縮效率的主要技術模塊以及 AV1 的最新進展。

在陳誠看來，從 H264 的普及到 HEVC 的專利困局，音視頻壓縮領域標準的專利費用成為了業界最大的問題。Royalty free 的標準自然就成為了新的關注焦點。Royalty free 的標準在這些年獲得了很大進展。VP8、VP9 作為 Google 開發的視頻標準，在 WebRTC 和 Youtube 取得了很大的成功，給業界樹立了信心。AV1 正是在此基礎上開發的新一代標準，而且已經獲得 Google、Facebook、Netflix 等業界公司的數據支持，表明 AV1 得壓縮效率高於其前身 VP9。

同時從視頻標準發展的歷史來看，H264 到 HEVC，再到 VVC，每一代標準的周期大約是十年。這個周期已經落後於互聯網對視頻壓縮的需求，業界需要壓縮效率更高的新標準。AV1 在 VVC 之前率先定稿，並且比 VP9 有 30% 的壓縮效率提升。這正抓住了 HEVC 推廣受阻，而 VVC 尚未到來的真空期。因此 AV1 可能會在業界內得到比其上一代 VP9 更為廣泛的應用。當然 AV1 在學術界還不如 HEVC、VVC 一樣吸引到足夠的研究興趣， 在工業界的發展也要接受時間的檢驗。但是 AV1 的前景還是值得期待。

提及 AV1 發展最大的挑戰，陳誠表示：AV1 既然是標準，自然希望能提供當前最優的壓縮效率。我們也知道視頻壓縮技術在追求壓縮效率的同時，增加了運算的複雜度，也帶來了軟硬體的壓力。談及壓縮效率，還要綜合考慮使用場景。例如 WebRTC，因為實時性要求，不能採用高運算複雜度的配置，移動終端的功耗也不支持大量的計算。AV1 要獲得更廣泛的使用，還要在壓縮效率和運算複雜度之間的平衡上下狠下功夫，距離完全的成熟也還有很長的路要走。

5

結束語

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！