基於HybridDB for MySQL的企業ODS方案

隨著DT時代的到來，數據的價值日益凸顯。企業積累的數據越來越多，資料庫的規模也達到成百上千個實例，數據的規模更可能達到上百TB甚至PB級。如何以合理的成本管理並維護海量實例，利用儘可能短的時間窗口進行挖掘分析，成為各個企業IT管理中的核心問題。

當前方案，在線處理和離線分離，系統架構詳見下圖

常見業務場景

1、為了滿足分析需要，ETL策略為ELT（Extraction-Loading-Transformation），將全量數據同步到大數據平台中（MaxCompute、EMR、或自建Hadoop）中進行離線運算，定期完成數據整合後供如決策支持類分析型應用使用。

2、自建或者雲上的大數據平台拉取生產數據：

a）不允許入侵到生產庫，以免引起生產庫的性能波動。

b）生產資料庫申請只讀實例，並設定相關許可權。

c）大數據平台可通過同步工具（DTS、CDP等）訪問只讀實例，也可寫相應調度任務和程序訪問。

d）根據訪問要求設置只讀實例相關訪問許可權。

業務痛點

1、數據分析類

a）需要數據搬運，所以分析以T+1為主，很難做到實時分析。

b）即席查詢只能基於各個只讀實例，需要配置多個數據源，增加開發難度。

c）自助式查詢，在執行SQL驗證正確性時的時執行時間較長，影響開發效率。

a）除了日常維護外，還需要維護只讀實例，包括白名單、訪問控制、日誌同步等。

b）自建資料庫需要在自行搭建和維護只讀實例，和雲環境整體對接運維成本開銷巨大。

c）當實例量超過100+後，運維難度成倍數增長。

解決之道：引入HTAP資料庫HybridDB for MySQL資料庫充當ODS層。查看詳情

1、實時推送：使用非入侵的數據同步方案，替換原只讀實例。將所有MySQL的生產數據實時同步推送到HybridDB for MySQL中，按需生成一份涵蓋當前決策需求的鏡像。

2、T+0分析支持：數據實時同步到HybridDB for MySQL中，可支撐T+0分析的查詢場景。

3、數據迴流加速查詢：將離線計算後的結果迴流HybridDB for MySQL，加速查詢性能。和業務數據提供更好的互動式查詢。

5、降低運維成本：干只讀實例的運維成本下降為一個HybridDB for MySQL實例，幫助DBA可以從繁瑣的運維事務中抽身出來，將精力投入更有意義的事情中，從數據架構本身出發更好地指導業務發展。

關於HybridDB for MySQL

是同時支持在線事務(OLTP)和在線分析(OLAP)的關係型 HTAP 類資料庫。

HTAP是Hybrid Transaction/Analytical Processing的簡寫，意為將數據的事務處理（TP）與分析（AP）混合處理，從而實現對數據的實時處理分析。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！