AI 降噪、多平台支持，在線課程背後的黑科技大公開

作者 | 伍杏玲

出品 | CSDN（ID：CSDNnews）

互聯網讓知識變得觸手可及，當程序員想系統學習某一項技術時，相信很多人會採用便捷的在線聽課。在線教育不再受限於地域和時間，打開手機便能隨時隨地上課：

據中商產業研究院發布的《2019 年中國在線教育市場前景研究報告》顯示，中國在線教育用戶從 2012 年的 5957 萬人增長至 2016 年 1.38 億人。預計2019 年中國在線用戶規模將突破 2 億人，其中手機用戶佔大比例，在 2019 年將突破 1.5 億人。

在線教育如此快速地發展，除了我們的教育意識加強外，其背後快速迭代優化的技術也起了重要的促進作用。

畢竟在線課堂中對視音頻的清晰傳播與速度要求很高，那麼這部分的技術是如何實現的？全球各地的網路存在很大的差異性，如何保證來自不同地區的師生能接收穩定的音視頻，共同完成課程教學與學習呢？

7 月 11 日，聲網 Agora 在線教育行業實時音視頻解決方案媒體溝通會上，聲網 Agora 在線教育行業產品總監仇媛媛、首席音視頻RTC專家陳功分享了聲網的實時音視頻技術。

在線教育發展歷程

隨著互聯網的發展，在線教育也不斷地蓬勃發展，回顧其發展歷程可分為這幾部分：

1.0 網校模式（90 年代末 - 2005 年），這時期的代表是 101 網校，核心技術是 Web2.0；

2.0 錄播課模式（2006 年 - 2012 年），這時期的代表是新東方在線，核心技術是 CDN 點播；

3.0 直播課模式（2013 年 - 2017 年），這時期的代表是學而思，核心技術是 CDN 直播；

3.0+ 互動直播課模式（2018 年-今），這時期的代表是 Vipkid，核心技術是低延時互動直播；

4.0 全景互動模式（5G 時代），核心技術應為 AR/VR、AI、超高清、超低延時直播技術。

儘管課程模式技術不斷迭代，但用戶對基礎的在線實時互動課堂場景需求可分為四大類：1對1課、小班課、互動大班課和雙師課堂，針對各場景所遇到的技術難題均不同，需要不同的技術解決方案。

1 對 1 課堂：跨境網路該如何傳輸？

在最基礎的 1 名教師對 1 名學生在線教學的場景中，仇媛媛說，這裡有兩個技術挑戰：一是網路接入，例如有來自北美、菲律賓等地區的外教，還有分布在中國三、四線城市網路狀況不好的學生，這些特殊網路該如何覆蓋呢？

二是網路傳輸，由於外教有可能分布全球，為了保證傳輸質量，按照以往的做法是需要建立專線的，但專線的價格較高；而如果通過普通互聯網的方式傳輸，網路質量會很差。

對此，聲網提供虛擬實時通信網路 SD-RTN?，採用分散式架構，解決1V1等場景下跨境的網路傳輸問題。SD-RTN? 在全球部署了 200 多個機房節點，搭建智能路由。

SD-RTN? 是基於 UDP (User Datagram Protocol) 的網路架構，通過在互聯網上不同的數據中心部署彼此協同工作的軟體網路單元，相當於添加了一個虛擬層，這樣是為了確保傳輸的穩定性和低延遲。特別是在弱網環境下，SD-RTN? 根據以下節點條件實時自動分配最優路徑：傳輸狀態、負載條件、與用戶的距離、響應時間。

目前其服務可用性達 99.99%，實現 60% 視頻抗丟包，80% 音頻抗丟包。

小班課環境嘈雜影響聽課？AI 降噪來救駕！

小班課通常採用 1 對 4 或 1 對 6 的授課形式，其遇到的技術難題有：一是與1 對 1 課堂相比，一個學生同時要接收到 4-6 路的音視頻流，這樣對網路帶寬的要求增加。一旦網路帶寬不足，就會有丟包、卡頓的現象。

二是對手機性能有不少的挑戰：每增加一段音視頻，就要增加端上的解碼壓力，多餘的解碼佔用和消耗 CPU 過高，手機一樣會卡頓。

三是周圍環境嘈雜的話，將會影響學生在課堂上的聽講。

對此，陳功介紹道，聲網在策略上採用「老師優先、音頻優先」，對於「老師優先」，在聲網的 SDK 中增加「流權重」的概念，對高權重的流做一定的趨向化策略。而音頻優先是，當檢測出嚴重的帶寬競爭時，會對視頻的碼率幀率進行一定的降階處理，如果實在是無法恢復的情況下，技術實現上將會考慮關閉，保障基礎的音頻順暢播放。

在機器性能方面，針對低端機做了優化，使得 CPU 佔用降低了 20%。

至於環境嘈雜的問題，陳功介紹這是通過 AI 降噪來解決的。先是基於深度學習來實現人聲和背景雜訊的實時分離的，還能自適應各種聲學結構，使得集成和調試的效果更好。目前 Agora 支持 Android、iOS、Windows、macOS、Linux、小程序、Web 等多平台的使用。

互動大班課如何解決延時問題？

在大班課里，上百人或者上百萬的人是如何接入互動呢？你可能腦海里會有「卡卡卡」的字眼，畢竟之前大班課所用的技術是 CDN 直播，會有 3-10 秒延遲，CDN 連麥需要 2-3s 的切換時間，且一般通過用文本、大幕的形式，互動比較少。

對此，聲網採用低延時和無縫連麥策略，學生可在 1 秒內接收到老師音視頻。

在大規模的接入請求下，SD-RTN? 提供 AP+UniLbs 統一接入分配服務，例如可接入 WebRTC 、P2P Stun、SD-RTN? Edge 節點，來保證接入的合理性和最優化，還有接入服務是一個延遲的登錄。

SD-RTN? 提供多種模式數據的轉發，包括單播、組播、廣播，在單播和組播里是用到新型的網路拓撲。在這種拓撲下，如遇到大規模的用戶將會自動發展成樹形拓撲。這樣的話可以在不同的區域和不同的機房間，自動地選出超級節點來做轉發的代理。這樣就可以智能地彈性擴容，來支持百萬級別的課程教學。

雙師課堂的畫質流暢性如何保證？

在雙師課堂模式里，主講教師通過直播的方式給學生上課，在線下會有一名助教對學生進行指導。

此時學生看到的是一個相對固定的背景 (電子屏幕)，和運動的前景 (老師) 疊加組成。而且需要大屏幕教學，84 寸甚至是 124 寸大屏，屏幕越大，對畫質的要求越高，很多產品是採用 1080p 30fps 來設計，但陳功認為這樣設計的話，在運動物體的邊緣會有視覺上的拖影和頓挫感。為了解決此問題，聲網採用 1080p 60fps 來改善觀影體驗。

除了上述四個基礎課堂，聲網還推出四個創新場景課堂：遊戲化教學、在線音樂教學、AI互動課堂、超級小班課。隨著技術的發展，相信在未來，在線教學也越來越來個性化、智能化，學生可選擇更加靈活的授課方式。

集成如此多技術的 Agora，實際接入會很困難嗎？我在官網試用了一個 Demo，如官宣的「4 行代碼」體驗開發了自己的第一個視頻通話工程：

最後談及隨著5G的到來，那麼之前聲網所致力解決的網路問題是不是就迎刃而解了？

陳功回答道，網路這塊分兩段，一是網間通信，通過智能路由的最佳路徑保證大網的傳輸質量。二是當用戶接入時，網路丟包應對的抗丟包策略。雖然我們希望網路的基礎設施越來越好，但不要忘了我們對於音頻、視頻高清的追求是無止境，現在傳輸 500K 數據可以達到較好的傳輸效果，等 5G 後可能會要求傳輸 5 兆、50 兆數據時，這樣的話 500K 就不夠用了。

正因為人們對科技無止境的追求，我們技術人的步履也不斷往前，未來可期。

【End】

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！