3分鐘學會如何調度運營海量Redis系統

作者：馮偉源，高級工程師，騰訊雲Redis系統運維負責人。6年DBA經驗，一直從事SQL優化、實例調優、資料庫架構、海量資料庫集群運維、運營平台建設和管理等工作。為QQ、Qzone、QQ音樂、微雲、騰訊雲等業務提供資料庫服務。

騰訊雲Redis自2015年誕生以來，爆髮式增長，為上萬家客戶提供服務。作者作為唯一的運維負責人，面對三大挑戰時如何破解？

元信息的一致性管理

萬台設備高效運維

如何實現智能調度

解讀騰訊雲Redis

騰訊雲Redis是基於騰訊內部分散式緩存領域在QQ、音樂、Qzone、微雲等業務多年的技術沉澱，為客戶打造出的一款高可用、高可靠的Redis服務平台。其業務發展迅速，目前有上萬台設備，QPS已達億級。

騰訊雲Redis目前分別提供主從版、集群版、新一代三個版本。在使用上，基本兼容 Redis 協議，支持字元串、鏈表、集合、有序集合、哈希表等多種數據類型，能幫助客戶完成不同類型的業務場景開發。騰訊雲Redis支持主從熱備，提供自動容災切換、數據備份、故障遷移、實例監控、在線擴容、數據回檔等全套的資料庫服務。

運營問題

我們在運營Redis的過程中，遇到各種各樣的問題總結如下：

1. 環境：網路、TCP參數設置的問題；

2. 設計：做持久化時，頁表複製造成的卡頓；

3. 開發者：慢查詢，連接風暴，缺流控等；

4. 最終用戶：比如電商的秒殺活動，訪問陡增導致處理能力到極限。

總的來說，是服務運行過程中，資源的需求與供給不匹配。

三大挑戰

在應對這些運營難題過程中，我們陸續地翻越三座大山：

挑戰一：元信息的一致性管理

元信息的混亂導致一些運維故障在日常運營中經常碰到？最基本的四類元信息是集群、設備、實例和配置。我們解決這類問題的時候定3條原則。

「全」---元信息梳理統計全；

「准」---和現網各種信息保持一致；

「一」---統一的入口，提供統一的API，來進行數據的讀取與修改，讓元數據的變更可以被審計。

首先對所有元信息進行梳理，提取各種元信息的公共特徵，分類建模，然後抽象出模板對象的屬性與方法，定義數據結構，最後設定數據同步與消費的方式，對外提供API介面。這樣一套基本的DB-CMDB子系統就建成了。也就是資料庫層統一元信息管理系統。

設計思路上，採用通用框架，可以管理不同資料庫類型的信息，也為後面的運維自動化奠定基礎。

挑戰二：萬台設備的作業方式

系統提供服務之初，整體運維規模還不大，很多運維工作可以通過手工解決。在客戶量爆發後，1~2個DBA是無法通過手工解決萬台設備運營，更無法面對億級QPS性能衝擊。

為了應對規模化的運營，我們打造「作業平台」的系統，來承載我們的運維邏輯。

平台化---原子操作，工具託管在平台上

流程化---工具串成流程，流程化，可復用

可視化---各類運維操作可視化，簡單明了

首先將腳本編輯作為工具，託管在平台上。這種工具的原則是原子操作，只有失敗與成功兩種狀態。工具串起來成為流程，每個工具可以被多個流程復用，這樣大部分運維操作，包括上下架機器、Redis的遷移、擴縮容都可以通過流程來實施。同時各類操作均通過可視化來展示，簡單明了。

目前騰訊雲Redis作業平台已建成數百種場景化的工作流程，日調用次數達上千次，覆蓋大部分的運維場景，變更導致的事故減少，服務更為穩定可靠，場景化運維工作效率提升300%。通過平台化、可視化、流程化的「作業平台」，整個團隊的工作協同、積累、傳承做得更好。

挑戰三：如何實現智能調度

手工觸發的運維流程，只能算是半自動化。我們該如何把整體的運營工作打造成全自動化呢？

自動化調度系統

決策系統

自動化調度系統：對於按事件和時間調度系統異常時觸發的告警，第一是按時間調度，比如每周三下午3點重啟一個服務，通過時間來觸發。第二是按事件調度，我們把每一種告警，都作為一種事件，註冊到調度系統中。調度系統捕獲到事件後，可以調用作業平台的任務或者流程去完成一些工作，這就形成一個運維的閉環。

決策系統：在處理一個事情之前，我們還需要獲取各種信息，如何根據信息做決策？一個決策系統，先發起決策請求，過程中可能會涉及到一些決策樹，或者AI決策等，根據決策的結果，再確定調哪些作業流程，或者是否調作業流程。

總結運營之道

運維成熟度的衡量

運維成熟度在騰訊雲的成熟度衡量：從比較原始的方式，到實現一些標準的工具。再到可視化、流程化、平台化，以及實現能基於時間與事件觸發的自動調度平台，實現全自動化的運維閉環。智能化解讀，通過機器學習，深度學習的方法能幫助我們更好地做一些決策，比如說資料庫自動調參，智能分析實現數據的冷熱沉降；最後，通過業務畫像，數據分析，成本優化等為業務帶來更多的價值。

雲時代下對DBA的全面要求

雲時代下，DBA應該對自身能力提出更高更全面的要求。我們不但要保證系統高效穩定，協助好使用者，還要在產品打造方向、架構設計的細節、組件的源碼，社區的跟進甚至是引領上進行沉澱，並建立個人影響力。

我們既是運維，也是開發，也是產品。這也是雲時代下，服務化、DO合一的趨勢！

人人都能看懂的雲計算知識科普！

關注云加社區，回復3加讀者群

好文！給你「好看」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！