PP雲技術副總監：如何使用機器學習演算法優化分發鏈路

4月21日PP雲最為LiveVideoStack的特別支持單位，將在上海浦東新區陸家嘴軟體園蘇寧文創園區舉辦《多媒體開發新趨勢》系列沙龍，為大家展現新技術在音視頻領域的探索與實踐，以及新興應用場景和傳統行業的最新、最佳實踐。PP視頻雲技術副總監曾小偉作為特邀講師，將為大家帶來《如何使用機器學習演算法優化分發鏈路》的演講。今天先為大家透漏一些演講內容的精彩摘要。

01

Speaker

演講者曾小偉現擔任蘇寧雲商數據云公司PP視頻雲技術副總監。圖像編解碼、高性能計算出身；從事過AI（NLP）方向的工作，10年以上流媒體服務服務端開發與架構設計經驗，8+年以上團隊管理經驗。目前負責PP視頻雲的架構設計與研發工作，承接蘇寧集團內部的視頻業務，推動視頻雲平台架構改進，提升服務能力；對外，提供優質的視頻SAAS服務。同時是多家科技類網站的執筆觀察員，PP視頻雲長期特邀撰稿人兼執行主編。

02

Topic

點播視頻（包括短視頻）壓制完成後，需要經過內部存儲和分發才能接入到視頻CDN，內部存儲分發的功能由點播視頻源站來實現。源站內部分發的過程中，視頻數據會通過大量的伺服器節點，這些節點分布在不同地域、不同運營商的機房、不同的時間，連通性都是不斷變化著的。傳統的做法是根據運維經驗，配置固定的主備線路進行分發，缺點是線路發生擁塞和故障時，分發的質量會受嚴重影響甚至失敗。PP雲則引入機器學習演算法，實時生成轉發鏈路的方案，選擇最優質的網路鏈路，提高分發速度。本次分享將對優化方案架構、模型、演算法設計和實踐，以及未來發展做詳細介紹。

03

Abstract

1. 點播視頻源站介紹及分發鏈路優化的意義

PPTV新上線了一個電影，或者一些短視頻網站的用戶新提交了一個短視頻後，這些視頻放在哪裡呢？對於視頻網站（平台）來說，這個存儲視頻的地方，就叫做源站。點播視頻源站的職責，不僅僅是負責有效的存儲這些視頻文件，同時也要考慮如何高效穩定的讓觀眾看到這些數據。

觀眾觀看這些視頻，通常是通過客戶端從CDN下載視頻數據，CDN的核心節點，會對接視頻網站的源站，下載數據（這個過程通常稱作回源），之後CDN會分發（並緩存）這些數據到觀眾。一個視頻網站，可能會對接多個CDN，包括自建和商業，每個CDN，在不同的區域和運營商，可能也有不同的接入點。另外，視頻源站內部的設計，也是分層級的，通過多級緩存和分發，逐級降低和分散訪問壓力。

源站內部伺服器之間以及源站與CDN接入點的通信和數據傳輸，一般都是通過網路的，經常會有抖動。動態的選擇好的分發鏈路，將大大提升數據從源站內部分發，以及到CDN的分發速度。

2. 傳統的源站內部分發方案的缺點

前面提到，源站內部，其實是可以分層級或者已經分了層級的。

在源站的不同層級之間，數據首先會存儲在中央層，通過網路向下層分發，分發過程中，下級節點向上級的哪個節點回源，通常是固定的；CDN也是通過固定的接入點，對接源站回源。

網路可能會有抖動，在某一時刻，按照固定的鏈路回源，可能不是最優的鏈路，甚至在故障期間是不可用的。

3. 通過基於機器學習的分發鏈路選擇處理將帶來什麼好處

歷史上每次回源下載文件，使用的鏈路，以及最終下載的速度（文件大小、下載時間）等數據是寶貴的資源，通過對這些數據進行機器學習，可對當前時間點、不同鏈路選擇下針對一定大小的文件的傳輸做出下載速度預估，在這些鏈路中，選擇出一個相對（預估）最優的鏈路進行分發，將大大提升源站的分發效率。

當然，通過機器學習預估後的結果，產生的下載速度，將作為下一步學習的輸入數據，不斷調整和學習，做到最優鏈路的選擇。

這個思路，不只是可以用在點播源站內部分發的過程中，同時也時可以使用在一些直播回源鏈路中的，只是學習的模型、參數會有差異。

4. PP雲點播視頻源站架構簡介

PP雲點播視頻源站，分為三層，

中央層為原始的視頻文件存儲以及HTTP下載緩存服務；

轉發層部署在全國幾個BGP機房中，負責文件的中轉以及臨時緩存；

邊緣層對接各個CDN的接入點。

引入智能分發後，轉發層和邊緣層之間，其實是沒有明顯界限的，數據的分發選擇節點更為自由和智能，CDN接入質量更優秀。

本次採訪僅為本次演講的小部分，欲想了解更多乾貨，還是要到現場聆聽以及與演講者面對面的深入交流。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！