當前位置:
首頁 > 科技 > 新秒拍的「雲」端漫步:輕裝上陣遇見華為雲

新秒拍的「雲」端漫步:輕裝上陣遇見華為雲


無論是在公交地鐵,還是在街頭巷尾,你總會遇到幾個低頭看短視頻而大笑不停的路人。沒錯,在當下短視頻就是這麼的火爆,而秒拍就是時下主流的短視頻平台之一。從 2011 年上線至今,秒拍不僅成為了微博短視頻合作平台,更是推出了冰桶挑戰賽等爆款營銷活動吸引用戶,目前日均覆蓋用數量已經達到 7000 萬,日均上次視頻達到 220 萬條,日均視頻播放量也已經達到 30 億次。

今年,為了提升秒拍內容推薦的精準性、用戶體驗和產品競爭力,秒拍牽手華為雲。他們把部分業務遷移到了華為雲。有做過雲遷移的企業一定知道,對於秒拍這種量級的企業而言,雲遷移就意味著大量的數據變更、系統兼容和架構重建。那麼秒拍是如何實現雲遷移的呢?華為雲又給秒拍提供了哪些幫助呢?帶著這些問題,我們專訪了秒拍架構師李東輝。

習慣疲於奔波,更需輕裝上陣

由於與微博的關聯性很強,秒拍也具有明顯的媒體屬性。而這種屬性表現在秒拍上就是流量峰值的衝擊,尤其是微博中大量明星不定期的「官宣」,這種突發性的流量對秒拍架構在雲上的業務系統造成很大的衝擊,和微博的運維工程師類似,秒拍的小夥伴們也是「壓力山大」。而以往,秒拍的主要業務架構是部署在虛擬機上的,在擴容速度上有較大的提升空間,而且存在成本較高、擴展性待提升等問題。

那麼這種彈性擴容問題如何更好的解決呢?當下熱門的容器服務就具有啟動速度快、資源佔用小、運行效率高等特點,在應對突發性的大流量衝擊時也可以實現快速擴容。也就是說,除虛擬機之外,完全可以遷移到容器中進行提升,那麼阻礙是什麼呢?

首先,秒拍有大量的用戶,遷移的過程中需要解決用戶體驗和用戶數據丟包等問題,另一方面雲平台的遷移會有很大兼容性問題的產生,如何降低單點依賴保持最大可能性的將業務內容完整遷移也是一個大工程。

而在經過了重重的考量之後,華為雲成為了秒拍最終的選擇。據秒拍架構師李東輝介紹,一方面是看重了華為雲近年來迅速增長的市場表現,提供了諸多業界領先的技術和成熟的架構;另一方面則是因為華為「以客戶為中心」的理念,在實際遷移過程中,也正是華為雲提供的有力技術支撐和無微不至的服務,保證了遷移的順利完成。

踏上高速列車,越難越有收穫

秒拍之所以選擇遷移到華為雲,一方面是出於預防「官宣」式崩潰,另一方面也是為了升級原有架構,藉助華為雲在 AI 領域的技術積累,實時把握用戶喜好,實現內容的精準推送。

雲遷移的主體是資源的遷移。在秒拍遷移到華為雲時,MC 過去常用作臨時緩存,遷移時,建立 MC 連接後需要添加所有的伺服器列表以及權重;MQ 則需要在服務端先更新配置上線,數據寫入到新資源,消費端完成舊資源消費後,再切換到新資源;Redis 則是基於 RDB 快照,在新資源通過快照回放完成全量數據的遷移;DB 遷移則相對容易,全量數據預先複製一份過去,增量數據獲取原平台 DB 的許可權,通過 binlog 同步到新資料庫;

ES 的存量數據則可以直接從 DB 拷貝,而增量數據則可以通過監聽 DB 更新同步獲取;版本庫的則要簡單一些,統一配置後直接修改即可;Dokerfile 則需要預先設置鏡像,將項目代碼複製到容器;後端資源遷移結束後就可以切換公網流量,然後進行全線驗證,觀察錯誤日誌等同步進行即可;切換到華為雲後,利用 Dokerfile 鏡像即可通過 Kubernetes 實現滾動升級。

同時,此次秒拍遷移到華為雲還涉及了大量的架構升級。在 MC 里,往往存在偽批量存儲,可以利用 Redis 的 Pipeline 並行機制解決。在首頁的推薦內容里,對推薦系統依賴過重,所以必要時需採用熔斷降級策略;即先把部分列表數據存儲到 cache,一旦發生熔斷,就將數據從推薦系統讀取渠道直接切斷,轉從 cache 里讀取返回給用戶,避免全盤崩潰。

負載均衡也發生了本質的轉變,秒拍此前的的負載均衡需要請求到 VM 和埠來實現;而在容器化後,下層掛載了 Kubernetes 集群,當請求達到節點後可以均衡到不同的容器之中。日誌和監控方面,通過在實例資源上部署 agent 定是收集 CPU 和內存的信息,巡檢線上資源和介面,也可以及時排除系統隱患。

整體平台的底層核心存儲依然是在 MySQL,其高可用性必須提供保障,目前採用的是主從與主備結合的形式,問題在於主機一旦故障就需要人工指定主機,因此需要設計雙機切換的模式。核心對主機狀態進行判斷和決策,也可引入中介角色完成這一工作,但風險在於中介的高可用性,目前比較成熟的中介解決方案有 Zookeeper 和 Keepalived 等。

合作贏未來

秒拍在遷移的過程中不僅面臨著技術上的問題,時間和實踐也都有不同的難題存在。

據李東輝介紹稱,當時遷移的時間節點在夏天,華為雲派出了一個技術團隊駐紮在秒拍總部共同攻克技術難關。但礙於工位有限,只能一群人擠在一個很熱的辦公室里辦公。而為了照顧用戶體驗,遷移的流程也只能選擇在業務體量較低的凌晨進行。整個華為雲的小組與秒拍團隊共同克服了諸多難關,通宵達旦方才完成了整體的遷移流程。

而且,雙方的合作還幫助秒拍實現了推薦演算法的升級。秒拍通過與華為雲 EI 產品部合作,進一步提升了內容推薦的精準性和短視頻業務的差異化競爭力。而與之前相比,秒拍的視頻點擊率和人均觀看時長也得到提升,基於用戶畫像的精準視頻推薦幫助用戶獲取了個性化內容,也幫助秒拍提升了用戶黏性。

在採訪的最後,李東輝談到了與華為合作的收穫,他認為衡量一個合作是否成功的標準一定是看是否對雙方都有利。對秒拍來講,他們實現了一次良好的技術體系迭代升級,提升了用戶體驗,增強了用戶黏性。而對華為雲來講,他們的技術實力得到了客戶的認可,也進一步打開了互聯網市場的局面,實現了雙贏。

識別下方

圖片二維碼

點擊原文鏈接

即可觀看本期二叉樹視頻。截止到12月28日17:00 前留言區點贊前三的用戶將分別獲贈華為手環哦。

喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 InfoQ 的精彩文章:

對AI開發感興趣的你,現場挑戰從零打造AI應用模型
JVM的R大為何「變態」?程序員又如何成長為架構師?

TAG:InfoQ |