Matrix讓雲世界化繁為簡
編者按：《百度雲說》是刊登百度雲管理層及產品、技術專家系列觀點文章的專欄。在這些文章中，將逐步揭秘百度雲對行業、市場、生態、技術、產品和解決方案的實踐與思考。我們希望通過這樣的方式，讓您更加了解百度雲，同時促進行業交流，更好地服務用戶。
百度雲主任架構師、百度雲技術委員會主席呂毅
本期《百度雲說》邀請到的嘉賓是百度雲主任架構師、百度雲技術委員會主席呂毅。現負責百度雲整體的技術把握，曾作為創始人，構建和應用百度集群操作系統Matrix。Matrix是國內領先的成功構建、並大規模應用的基於輕量虛擬化技術支持的超大規模資源調度和管理的集群操作系統，是百度雲架構、百度業務平台的基石。訪談全文如下。
Q：百度Matrix集群操作系統是在什麼背景下誕生的？
呂毅：雲計算相比於傳統IT最大的優勢就是在成本和效率層面實現了質的飛躍。Matrix正是百度自身在追求成本和效率更加高效的大背景下誕生的，是內部孵化且在業界具有領先地位的雲計算產品。百度是在2010年開始對內部雲的虛擬化技術進行嘗試，2012年正式開始立項做Matrix集群操作系統，以此來解決數據中心資源利用率不均衡、故障處理效率低以及配置管理複雜等挑戰。目前，Matrix已經全面覆蓋百度內部業務，並成為百度雲的關鍵組件。
Q：百度Matrix從立項到現在經歷了哪幾個發展階段？
呂毅：2012年-2015年是Matrix發展的第一階段，這期間百度數據中心效率提升明顯，資源利用率得到大幅提升，獲得了很好的收益。
2015年-2017年是Matrix發展的第二階段。由於大數據的大量生成以及AI的快速發展，大數據處理和模型訓練增長迅猛，從而對資源的需求大幅增加。為了結合業務發展需要和成本控制，從2015年開始啟動大規模的混合部署，對資源管理、調度以及對上層業務的支持提出了更高的要求。Matrix在這個階段很好地滿足了業務需求，並得以實現大規模混布。目前，Matrix支撐了所有內部業務的交付，混合部署也成為百度默認的資源交付方式。同時，從業務角度看，混合資源和非混合資源的影響感知非常小，極大地節省了成本。
Q：百度Matrix最為核心的功能有哪些？
呂毅：Matrix架構是可以與Google Borg/Omega架構來對標的，通過分層調度器來滿足業務多樣性調度需求，通過共享狀態的方式達到資源的最大化利用。據悉，目前Matrix管理著國內最大的容器集群系統。
此外，Matrix還具備完善的調度生態，提供面向批量作業和服務的不同調度系統，能夠滿足業務高效吞吐和低延遲穩定性的需求。在此基礎上，在百度內部提供了完整的服務託管體系，面向業務提供多樣的服務管理功能，結合研發和測試過程的優化，極大的提升業務的研發效率。
簡單來講，對客戶來說，只需要提供物理機，初始安裝Matrix集群操作系統後，剩下的就是通過Matrix實現對上層應用服務的發布、部署、資源管理，以及整體資源優化。
Q：從功能的角度，Matrix未來會朝著什麼方向演進？
呂毅：從開源來看，DockerImage已經成為容器部署的標準。因此，在容器角度上，Matrix在內核基礎上繼續定製優化容器技術，並繼續完善配套的管理機制。
從技術棧來看，最底層是虛擬機和物理機，Matrix會優化管理整個集群的物理資源，包括物理資源的故障恢復以及分區域管理；往上是包括容器的編排和調度如何更加高效；最上層是服務管理層，涉及到服務的分級發布、服務管理等，如何更通用和易用，以及如何更好的優化CI/CD，持續提升業務的迭代效率。
最後，單獨提到容器技術，如何持續提高容器的安全性（隔離），實現真正多租戶的混合部署，逐步和虛機技術實現更好的融合。Matrix將繼續借鑒和回饋K8s/Docker社區，並結合百度自身對容器技術改進和理解，進一步完善自身功能，持續對內部和外部客戶輸出。
Q：Matrix在當前階段的發展目標是什麼？
呂毅：Matrix當前階段的目標優化內部，同時對外賦能，百度公有雲以及基於Matrix對外提供各種雲服務，而一些企業級客戶其實在內部的私有雲同樣有著類似的需求。尤其是現在越來越多企業都有著大數據處理以及提升企業AI能力的需求，這其實和百度早期非常接近，希望能夠利用我們在集群操作系統的經驗，包括服務管理、容器技術以及其他開源技術的實現，結合百度雲的大數據和AI能力，整體打包做成客戶解決方案，滿足企業客戶的發展需求。
Q：Matrix這種非常強大的集群管理系統比較適合什麼類型的客戶？
呂毅：伺服器數量只要達到上百台的企業級客戶就可以採用Matrix。業務規模較小時，其實資源管理和調度相對較為簡單；當業務規模較大時，不引入容器技術就會導致上層管理系統的設計和實現複雜度增大，尤其是在混合部署下差異更高。引入容器技術，隨著規模增長，客戶就會感受到容器本身效率會對業務產生的影響，這就需要集群操作系統來管理複雜的環境，規範和優化業務。
Q：企業級客戶如果想採用Matrix的話，切入點會在哪裡？
呂毅：從我們現階段接觸的客戶需求來看，我們會首先輔助企業內部構建一套基於容器技術的系統，來優化企業內部原有的業務。現在很多企業對於大數據和AI的訴求是非常強勁的，這對於Cloud的能力提出了更高的要求，因此百度首先會在Cloud部分提出相應的解決方案，滿足企業內部應用容器技術上遷移。
其次，百度可以為企業提供大數據和AI的定製化解決方案，最後整體面向企業進行ABC的交付，很好地滿足企業的大數據和AI業務需求。
Q：Matrix對外賦能是否隨著業務和客戶的發展而變化？
呂毅：企業級市場的核心就是以客戶業務需求為導向，Matrix也一致秉持這個發展理念。Matrix會沿著通用化的發展路線對外輸出，保持基礎核心功能層不變，在深度分析客戶需求之後結合百度的經驗，抽象出相對通用化的系統和解決方案，再結合客戶的業務需求進行定製。此外，百度會繼續在內部堅持技術創新，包括加大對Kubernetes、Docker等社區的貢獻，持續優化Matrix的核心功能。
Q：目前採用Matrix產品的經典客戶案例是？
呂毅：我們對外不單獨交付Matrix，Matrix是作為百度對外交付解決方案的一部分。目前國內已經有很多客戶在百度交付的解決方案中用到了Matrix技術。比如，百信銀行，作為國內第一家互聯網銀行，是一家建立在雲上面的銀行，並且集ABC能力於大成的新時代銀行，百信銀行採用了來自百度的雲架構技術，在分散式集群架構上構建起了銀行的核心業務系統，非常具有前瞻性和領先性。
往期
回顧
﹀
﹀
﹀
2018百度雲智峰會 Inspire智能金融報名通道開啟！
TAG:百度雲 |