減少30%流量，增加清晰度：MIT提出人工智慧視頻緩存新演算法

選自MIT

機器之心編譯

參與：路雪、李澤南

人們對於在線視頻載入速度與清晰度的要求總是無止境的。最近，來自麻省理工學院（MIT）的研究者們展示了使用機器學習進行視頻緩存優化的新方法。在實踐中，這種名為Pensieve的新型緩存系統相比其他流行方法少用了10-30%的視頻流量，同時可以提高10-25%的「體驗質量」，大幅提升用戶體驗。

我們在 YouTube 和其他視頻網站上經常會遇到這樣的窘境：視頻突然卡住，或者因為網路阻塞而變得像素化。

這兩種情況發生的原因在於將視頻切割成小塊的特殊演算法，如果你的網路較慢，視頻網站可能會在接下來的幾秒鐘內降低視頻解析度以確保你可以持續觀看視頻——當然，質量就無法保證了。如果你試圖將進度條向後拉，而那一段還沒有載入的話，視頻的播放就會中斷，直到相應的段落被緩存。

作為最流行的視頻網站，YouTube 使用自適應比特率（ABR）演算法試圖為所有觀眾提供最好的體驗。該網站還減少帶寬的佔用——通常，用戶不會看完整段視頻，而每天在網路上播放的視頻大約有 10 億小時，這意味著如果不使用優化演算法而全部載入，會浪費相當多的資源。

雖然 ABR 演算法通常可以完成優化工作，但觀眾對於視頻質量的要求是無止境的，而目前 Netflix 與 YouTube 這樣的站點也不得不在質量和速度之間做出妥協。

「研究表明，如果視頻會話質量太低，用戶通常會放棄觀看，這對於內容供應商來說損失很大，」MIT 教授 Mohammad Alizadeh 說道。「視頻網站必須不斷尋求更加先進的優化方式。」

面對這種情況，Alizadeh 與他在 MIT 計算機科學與人工智慧實驗室（CSAIL）的研究團隊共同開發了 Pensieve，一種使用機器學習演算法處理不同網路狀況的人工智慧視頻緩存系統。在研究過程中，他們已經展示了該系統可以提供高質量的視頻體驗，效果超過目前流行的所有系統。

具體來說，該團隊在實驗中發現 Pensieve 比其他方法減少 10% 到 30% 的重緩存，且用戶在關鍵「體驗質量」（QoE）指標上的評級比其他方法高出 10% 到 25%。

Pensieve 還可以根據內容供應商的優先順序進行自定義。例如，如果在地鐵上的用戶即將進入信號盲區，YouTube 可以降低比特率以儘可能多地載入視頻，這樣視頻在沒有網路的情況下也無需重緩存。

「我們的系統可以靈活適用所有你想優化的場景。」博士生 Hongzi Mao 說，他是一篇相關論文的第一作者（其他兩位作者是 Alizadeh 和博士生 Ravi Netravali）。「你甚至可以想像用戶根據他們想要優先考慮重緩存還是解析度來定製個人專屬的流媒體體驗。」

該論文將在下周於洛杉磯舉行的 SIGCOMM 會議上發布。該團隊還將開源該項目的代碼。

自適應比特率的工作原理

廣泛來說，存在兩種 ABR 演算法：基於率的演算法，用來衡量網路傳輸數據的速度；基於緩存的演算法，該演算法確保存在一定量已經被緩存的未來視頻。

這兩種演算法都受到一個簡單事實的限制：它們都不使用包含率和緩衝的信息。因此，這些演算法通常作出不太好的比特率決策，且需要人類專家的手動調整，以適應不同的網路條件。

研究者還嘗試把這兩種方法聯結起來：來自卡內基梅隆大學的系統的性能優於這兩種演算法，該系統使用了「模型預測控制（MPC）」，該方法旨在通過預測不同時間上的條件變化來優化決策。這是一項重大進步，但是仍然存在問題，即網路速度等因素很難建模。

「對網路動態進行建模非常困難，使用 MPC 這樣的方法，最終也只能獲取和模型一樣的性能。」Alizadeh 說道。而 Pensieve 不需要模型或任何現有的關於網路速度的假設。Pensieve 中的 ABR 演算法就像一個神經網路，Pensieve 在具備不同緩存和網路速度條件的多種情況下重複測試該演算法。

該系統通過獎罰機制調整演算法。例如，如果演算法傳遞了一個無需緩存、高解析度的體驗，它就會得到獎勵，但是如果它重緩存，則會被懲罰。

「它學習不同的策略對性能的影響方式，並且通過觀察實際的過往表現，用一種更魯棒的方式改善決策策略。」論文第一作者 Mao 說。內容供應商如 YouTube 可以根據需要為用戶優先處理的指標來自定義 Pensieve 的獎罰機制。例如，研究表明用戶更能接受視頻中更早的重緩衝，因此該演算法可以被設置為重緩存的時間越晚，懲罰力度越大。

結合機器學習和深度學習技術

該團隊在多種設置中測試 Pensieve，包括使用咖啡館的 Wifi 和大街上的 LTE 網路。實驗表明 Pensieve 可以獲取和 MPC 一樣的視頻解析度，但是重緩存減少了 10% 到 30%。

「之前的方法嘗試使用基於人類專家直覺的控制邏輯。」未參與該研究的卡內基梅隆大學電子與計算機工程助理教授 Vyaz Sekar 說。「這項工作證明利用新型『深度學習』技術的機器學習方法已初顯前景。

Mao 認為該團隊的實驗說明 Pensieve 即使在過去未曾見過的場景中也能運行的很好。

「我們在使用合成數據的『boot camp』設置中測試 Pensieve 時，發現 ABR 演算法對於真實網路也足夠魯棒。」Mao 說，「這種壓力測試證明 Pensieve 在現實世界的新場景中也可以進行很好的泛化。」

Alizadeh 還指出，Pensive 只在相當於一個月的下載視頻上進行訓練。如果研究團隊能夠獲取 Netflix 或 YouTube 這樣規模的資源，該系統的表現將會更好。

下一步，Alizadeh 的團隊將嘗試在 VR 視頻中測試 Pensieve 的性能。

「4K 質量的 VR 視頻可以輕易達到每秒幾百 M 的流量佔用，今天的網路帶寬根本無法支持。」Alizadeh 說道。「我們非常期待像 Pensieve 這樣的系統可以讓 VR 變得距離實用化更進一步，而這只是可見前景的一小部分。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！