接到客戶電話之後……
又是一個繁忙清晨,戴爾易安信存儲專家周工接到客戶電話:
「周工,你快來看看吧,我們的資料庫現在巨慢無比,出個報表都要等很久,領導都急了」。
這個客戶是一家國內頂級電商平台,在外賣市場及到店餐飲領域的地位數一數二。現擁有用戶近6億人,合作商家達300萬戶,每日訂單量超1000萬單,移動端月度活躍用戶逾1.5億,年度活躍買家近2億。交易量如此之高的業務平台,如果後台支撐資料庫出現性能問題,後果不堪設想。想到這裡,周工立刻安排,第一時間趕到了客戶現場。
客戶的資料庫環境是Oracle RAC平台,業務進程複雜。如何量化「資料庫慢」,找到拖垮性能的真正原因呢?這個,就要用到戴爾易安信的超級工具——Live Optics。
Live Optics工作負載視圖
24小時定位性能瓶頸
Live Optics是一款開放的專業數據中心整體系統性能評估軟體。利用它,客戶可以收集、可視化IT環境及工作負載的數據,並可生成專業的分析報告。Live Optics 控制面板以單台及分組伺服器,存儲及備份設備的性能摘要的形式,顯示客戶的系統環境數據監測結果,涵蓋了所有工作負載類型。因此,客戶可以發現整個系統作為一個整體,在哪些方面存在性能問題,以及如何更高效地運行。只需24小時,客戶就能獲得工作負載數據的清晰視圖。
周工即刻和客戶協商,在客戶的伺服器上安裝了最新版本的Live Optics軟體,並詳細告知客戶如何獲取結果文件以供分析解讀。
在運行了24小時之後,周工手裡拿到了客戶資料庫環境完整的運行性能數據報告。一份客戶資料庫平台性能數據的完整視圖展現了出來。通過該視圖,周工和客戶快速定位到了性能問題發生的時間點、發生原因。
通過IOPS和讀寫延遲兩個視圖,可以看到系統在峰值情況下,IOPS壓力高達30000以上,延遲也高達40ms以上,超過正常業務系統能接受的延遲時間。這正是客戶「資料庫慢」的實際數據量化顯示。
通過查看存儲Volume的性能視圖,可以看到目前支撐資料庫系統的存儲設備,大部分時間都處於延遲較高的狀態。經過Live Optics的分析,當前的存儲設備由於採購時間早,配置低,已滿足不了當前資料庫業務高IO訪問的要求,需要升級提高存儲配置。
SC9000雙活方案
實現6個9高可用性
周工和客戶一起分析了手裡的數據,客戶也認可了對問題的原因分析。那麼接下來就是提供一個能滿足客戶需求的解決方案了。如此高的IO壓力,毫無疑問要考慮配置SSD。另一方面,作為客戶的核心資料庫,要如何保證其超高的可用性和6個9的安全性呢?
不過,這一切都難不倒經驗的豐富的戴爾易安信存儲專家周工。畢竟,這樣的性能壓力和安全性難題並第一次出現。為了儘快解決客戶的難題,周工迅速拿出了一套完善的解決方案。
? 本次方案配置2套戴爾易安信企業級存儲性能SC9000,用於Oracle RAC資料庫存儲;
? 其中每套SC9000都與Brocade 6505光纖交換機連接,同時每台Oracle RAC伺服器與Brocade 6505連接;
? 每套SC9000配置SSD硬碟,在滿足高性能的同時滿足客戶要求的20TB可用容量。每套SC9000從控制器到前端都採用冗餘架構,在單一硬體發生故障時,可以透明切換到另外一個硬體組件;
? 每套SC9000控制器配置了512GB緩存,用於資料庫緩存,並且控制器之間針對Write Cache進行了鏡像,每套存儲配置24塊針對寫優化的SSD硬碟,在滿足高性能的同時滿足數據存儲容量需求;同時,也可以採用數據壓縮和去除功能對歷史時間數據進行壓縮和去除,提升整體TCO;
? 為了提升數據安全性,每套SC9000配置了CDP功能,通過CDP功能可以定時為資料庫實現指定時間點的數據保護;
? 為了保證核心資料庫高可靠架構,同時配置第二套SC9000,並且與第一套SC9000組成雙活方案。在一套SC9000整體發生故障時,可以通過live volume功能實現Oracle資料庫從第一套SC9000切換到第二套SC9000,並保證整體切換時對前端資料庫業務無任何影響。日常正常運行時,對於前端Oracle RAC系統,後端兩套SC9000可以提供IO負載均衡,提升整套Oracle RAC資料庫對數據的讀寫性能。通過這套雙活解決方案,客戶的資料庫系統達到了6個9的高可用性。
經過和客戶的交流,最終的設計方案獲得了客戶方領導、資料庫管理員以及IT運維人員各方面的認可。最終系統得以成功上線。上線至今,運行非常順暢。客戶之前的性能壓力問題,得到了徹底的解決。
戴爾易安信的存儲解決方案又一次得到了客戶嚴苛業務環境的考驗,證明了自身的優秀能力。所有這一切的開端,都來自於那天早上的諮詢電話。所以從另一個角度來看,當接到客戶諮詢電話時,其實是客戶在尋求你的幫助。而作為IT廠商,在第一時間給予客戶幫助,使他們儘快解決問題,擺脫風險,才真正體現了一個IT大廠商的能力。
※美光發布財報:DRAM需求高漲 XPoint銷售下滑
※石嘴山銀行核心生產業務上雲,華為分散式存儲功不可沒
TAG:至頂網 |