銀行「入雲」：雲計算體系架構在銀行如何落地
一、雲計算的服務目標和關鍵技術
雲計算絕不僅僅是「裝上一個軟體」那麼簡單，雲計算與生俱來定位於「資源共享」，我把雲計算的服務目標總結成以下5點：
1、計算資源池化和透明化。讓數據中心的計算資源(比如伺服器)在一定的範圍內(比如一個機房模塊內)充分共享，通過調度軟體讓這些計算資源向用戶透明。
2、彈性擴展和動態伸縮。利用一些軟體使計算資源能夠快速地、自動化地實現資源調度，可多可少，隨需應變，大大提高計算資源分配的效率，特別是在緊急情況下迅速創建計算資源以應對性能壓力和交易高峰。
3、以網路為中心無處不在。網路路由交換設備往往與伺服器、存儲設備緊密相關，雲計算強調「雲網融合」，網路基礎設施也要實現軟體定義和管理，網路資源共享和自動化調度為計算資源提供更好的基礎保障。
4、按需供給和自助服務。這是雲計算最典型的特徵之一，計算資源的創建和管理更加可視化、透明化、自動化，並且直接向需求部門和最終用戶提供在線自助式服務，讓用戶直接申請和創建計算資源。
5、服務可監控可計量。這是雲計算落地過程中常常被忽略的課題，既然上面談到要提供自助服務，就需要為用戶(業務人員、運維人員)提供服務監控的配套工具，以及服務水平計量和內外部服務計價的配套工具。
值得一提的是，上面這些服務目標絕不是下載幾個開源軟體就能夠一一做到的。銀行「入雲」需要首先下決心組建一支專門從事雲計算軟體開發的專業團隊，持續不斷地跟蹤雲計算軟體發展，持之以恆地做好這些配套軟體的開發維護工作。
二、雲計算體系架構1.0
雲計算體系架構的落地不可能一蹴而就，尤其是對於一個擁有將近20,000套虛擬機的大型數據中心，由傳統計算架構向雲計算架構轉型需要統籌規劃、分步推進。伴隨著雲計算技術的不斷演進和快速發展，實踐證明，前文所述的「三部曲」是一條切實可行的實施路徑。
1、IaaS 1.0
在IaaS 1.0中，雲平台架構自下而上分為四層：自動化腳本、資源池管理、資源調度分配引擎以及IT資源供應服務目錄。基於雲平台實現了VMWare虛擬機以及IBM Unix小型機虛擬化分區的自動部署和自動供應，有效提升了數據中心的運維效率。IaaS1.0先後在測試、研發和生產環境全面推廣，共部署虛擬機10,000多套，取得了預期效果。
但是由於商業虛擬化軟體的技術限制，IaaS 1.0在實際應用及維護管理方面逐漸暴露出以下不足：
①緊密依賴底層計算、存儲、網路提供的私有介面，沒有標準化協議，掌握和維護成本高,容易被硬體廠商綁定，可控性差。
②未能實現網路的自動化配置，需要人工進行網路配置。
③缺乏對雲內資源統一的全生命周期管理，無法從技術上保證資源從產生到銷毀的整個生命周期都在雲平台內管理。
2、PaaS 1.0
在研發部署IaaS 1.0的同時，團隊啟動了應用平台雲(PaaS)的研究和實施工作。以輕量級容器Docker為基礎，自主研發了應用平台雲PaaS 1.0，2015年10月份正式交付投產。
PaaS 1.0平台採用輕量級容器技術(Docker)，實現了應用節點的快速啟動;為服務類和Web類應用系統提供註冊中心和負載均衡，將快速擴展的容器節點接入外部;使用了輕量級中間件，提高了應用系統的靈活部署能力;在PaaS上採用了分散式服務架構，將服務化與PaaS較好的進行了整合;建設了鏡像倉庫、日誌採集、監控中心和參數中心等平台服務，實現了不同維度下的鏡像、容器和服務的集中管理及監控。
應用平台雲PaaS 1.0採用了業界最主流、最流行的技術，結合數據中心管理、運維和監控的需要，實現了符合自身業務發展需要的服務。
提高資源利用率，降低成本。通過彈性擴展、錯峰使用的方式，實現了銀行快捷支集群的資源池共享，在紀念幣發行、「雙11」大促、春節紅包等業務高峰期間實現了完美的資源靈活調配。
在IT架構轉型過程中，利用PaaS 1.0平台整體可用性高、系統伸縮快速的優勢，彌補了傳統技術架構的不足。
應用平台雲PaaS走的是「邊實施邊演進」之路。結合業界PaaS技術路線和發展趨勢，為滿足大規模容器集群管理的需要，進一步提升應用平台雲企業級服務能力，我們在2017年初啟動PaaS 2.0建設，基於開源容器引擎Docker，引入容器集群編排及調度技術Kubernetes，重點在容器、負載、日誌、監控等方面全方位實現應用平台雲的架構提升，打造企業級的PaaS 2.0。
三、雲計算體系架構2.0
針對在實施IaaS 1.0和PaaS 1.0中遇到的問題，結合業界技術路線和發展趨勢，在持續優化平台功能版本的同時，密切跟蹤技術發展，啟動了新一代雲計算平台的研究和建設工作，並在2017年基於OpenStack、Kubernetes、SDN等業界主流技術，完成新一代雲計算平台(2.0)的設計研發。具體如下：
①完成了IaaS 2.0的新功能組件：使用OpenStack管理三類對象(計算、存儲、SDN網路);SDN以機房模塊為單位進行管理。
②完成了PaaS 2.0的新功能組件：使用Kubernetes對Docker容器進行管理。Docker是PaaS最小顆粒度的運行單位，進行業務功能封裝並提供運行環境。Kubernetes負責對容器進行管理調度。
③實現了PaaS管理平台與IaaS的全面對接：支持由IaaS供應虛擬機環境後自動納入PaaS集群。PaaS在一個園區部署一套管理平台，並管理本園區內所有的Kubernetes;Kubernetes按照網路區域進行部署，管理該網路區域內的所有Docker容器。
1、IaaS 2.0
在基礎設施雲(IaaS)研發過程中，最終選擇了基於OpenStack、SDN等業界主流技術研發新一代基礎設施雲平台IaaS 2.0。主要考慮有以下幾點：
1)OpenStack是開放的生態
OpenStack是社區最活躍的IaaS項目，全球上萬研發人員參與，產品成熟，集合了全球智慧和力量。
2)OpenStack架構優異，功能完備
OpenStack定義了標準協議，屏蔽了底層設備差異，實現了計算、存儲和網路的池化管理，實現了資源的統一調度分配，實現了資源的全生命周期管理，並對外提供統一的RESTful介面。
3)完全打通了計算、存儲和網路專業
數據中心SDN網路作為我們新一代全球網路架構的「神經中樞」，OpenStack直接對接SDN網路，實現網路的自動化配置。
4)降低了對商業化軟體的技術依賴和資金投入
引入KVM、Ceph、OpenStack等開源虛擬化及分散式計算技術，降低了對商業化軟體產品的技術依賴和資金投入，自主可控性強。
5)雲管平台個性化定製，有力支撐智能運維
自主研發雲管平台，實現雲管視圖的個性化定製，用戶許可權的集中化控制，並與運維流程管理系統、配置管理系統、集中監控系統、PaaS應用等實現了深度聯動和集成，構建具有開放性、高容量、易擴展、成本可控等特點的雲管平台，更好地滿足業務發展對基礎設施資源和應用系統快速部署、彈性擴展的要求。
2、PaaS 2.0
在應用平台雲(PaaS)研發過程中，基於開源容器引擎Docker，通過引入業界主流的容器集群編排及調度技術Kubernetes，重點在容器、負載、日誌、監控等方面全方位實現應用平台雲的架構提升。PaaS 2.0主要特點包括：
1)平台集群容量提升，支持萬級容器集群規模
通過引入開源Kubernetes容器調度框架，支持萬級容器集群規模運行和調度。集群資源池化設計，實現在網路區域規劃內不同應用間的資源共享。
2)實現應用節點編排，支持複雜架構應用上雲
藉助PaaS 2.0雲平台的容器編排能力，我們可以將多個有依賴關係的應用節點編排到到統一的部署模板，從而實現複雜應用「一鍵」雲上部署。
3)提供容器自愈，實現應用故障自動恢復能力
PaaS 2.0雲平台提供容器自動恢復機制，通過自動保持應用運行容器節點的數量，在應用節點出現不可用的情況下，立即自動啟動新的應用節點，從而達到業務自動恢復的效果。
4)基礎資源自動供給，實現應用自動彈性伸縮
實現PaaS與IaaS的全面對接，數據中心的用戶可自助式完成資源申請，對應用保持透明;實現底層安裝介質的自動部署，安裝後自動納入容器集群，提升資源申請效率;在業務突發高峰時，能夠快速實現應用的自動彈性伸縮。
5)提供多集群能力，實現應用按需隔離
PaaS 2.0提供了自動創建多集群的能力。在同一集群內，支持不同租戶通過標籤識別，保證應用按需部署在不同的物理/虛擬設備上，從而實現應用按需隔離。
6)日誌管理及診斷體系建立，提升雲上應用的精細化管理水平
PaaS 2.0建立了基於日誌的分析診斷體系，實現了統一、集中的日誌管理，具備日誌在線檢索能力，提供統一的日誌文件在線下載介面，提供基於日誌的實時分析、監控、診斷預警的能力，實現了問題快速定位與處理。
7)負載均衡提升，為應用提供更為豐富的軟負載能力
以紀念幣預約和快捷支付等場景為突破口，在PaaS 2.0中研究引入了應用層軟負載均衡，提供SSL證書卸載及7層路由等能力，實現應用層軟負載技術在雲計算領域的實際應用。
8)多維度、多層級監控提升，提高平台可用性
PaaS 2.0從多維度、多層級對雲上應用監控進行提升，採集操作系統、中間件、平台和應用等多維度運行指標，並成功實現了與數據中心應用監控、配置管理和性能容量監控等體系的對接，甚至連報警都能直接推送到我們的移動辦公APP上，提高了運維支持響應時效，保障雲化環境的生產安全。
9)建立雲運維體系，提升雲上應用的自動化運維水平
PaaS 2.0基於容器監控數據、日誌採集等大數據，建立了通用、可定製、可擴展的業務分析模型平台，實現了雲上運維的可視化。提供了秒級指標計算及報警，實現雲上應用的精細管理;建立了分散式節點的自動巡檢機制，提供了雲上應用運行趨勢分析、故障秒級預警及實時診斷;實現了快速、自動化的雲上運維能力。
10)提供從開發到生產快速交付的能力，為應用快速迭代提供技術支撐
利用PaaS 2.0建立DevOps機制，使試點應用的開發(DEV)、技術運營(OPS)和交付測試(QA)三者一體化，打通了這些試點應用開發流程的邊界,使這些應用的軟體構建、測試、發布更加快捷，滿足業務頻繁及快速上線要求。
四、銀行單個應用系統實現雲計算體系架構的技術要點
1、應用系統的「適雲」改造
為了能夠充分發揮雲計算快速部署、彈性擴縮的特性，首先進行了一系列改造，包括對應用進行服務化和無狀態化改造，使用更輕量級的中間件Liberty，將Web伺服器與App伺服器分別實現容器化部署，並優化了負載均衡結構，從而使紀念幣應用更加「適雲」。這是銀行所有應用「入雲」的必經之路。
2、應用系統的快速部署
在完成應用「適雲」的技術改造之後，利用雲平台的部署能力，在不到1周的時間裡就全面完成了全部環境的投產準備工作，通過IaaS 2.0完成了宿主機的供應，通過PaaS 2.0實現了容器的快速部署，而我們的應用系統就運行在每個容器中。
3、彈性擴縮的實施
利用雲計算彈性擴縮的特徵，一旦出現業務量爆髮式增長並超過預期時，能夠在幾分鐘內實現對容器的快速擴容，即便出現由於容器的突然增長導致宿主機資源緊張的情況，也能通過PaaS 2.0調用IaaS 2.0介面，在十來分鐘內就實現宿主機的快速擴容，這在之前都是不可想像的。
4、自動、快速的資源回收
在結束之後，生產中心可以在1天之內，對投入的計算資源進行全面、快速的回收，回收後的資源直接歸還到資源池中，以便投放的給其他應用進一步使用。
五、智能雲平台是銀行「入雲」的制勝之道
雲計算體系的正常運轉離不開運行監測、運維操作、分析評估等運維領域工具的建設。在新的運維模式下，運維工作從以人工操作為主轉變為以自動化、智能化處理為主;從以經驗驅動為主轉變為以數據驅動為主;從分專業、技術化運維轉變為跨專業、服務化運維;從各單位分散運維轉變為總分行一體化運維。以上這些都成為運維工作管理者要認真考慮並組織解決的課題。
1、智能化平台，新時期運維解決方案
過去，在經歷了手工運維的苦澀之後，運維人員將常規的操作編寫成各類自動化腳本來減輕工作壓力，這種最基礎的自動化運維模式正在逐漸被各類自動化工具替代。然而，自動化工具的引入可能會帶來新的問題：工具相互獨立，基礎功能重複，數據無法共享，研發成本浪費;同時，工具本身的維護又要投入巨大的人力。在這種背景下，滿足新時代運維特點的管理一體化、架構松耦合、能力可擴展、數據大集中的智能化運維平台應運而生。
2、落地開花，平台化建設初見成效
1)三活架構，總分行一體化管理
智能化運維平台採用數據中心「三園區、三活」的架構，單一園區故障不影響平台整體運行，下掛分行可快速切換至其他園區的運維平台，數據跨園區同步時延達到秒級以下。智能運維平台的各模塊支持橫向擴展，在保證同園區服務高可用的同時，也支持業務邏輯的快速擴展，同時也能確保全行運維架構的一致性。
總分行一體化架構保證數據中心可掌握全行運行情況，具備接管分行運維操作的能力。
2) 功能集成，自主研發智能化Agent
智能化運維平台將生產運維中的監控告警、日常變更、應急災備、安裝部署、故障診斷、性能容量、風險評估等12個業務進行功能整合，提供統一入口及認證授權體系等基礎服務，減少各應用非業務功能的研發投入。
通過自主研發的單一、通用Agent替換各類系統產品的19類Agent。全行共完成近4萬套伺服器Agent安裝部署，Agent版本可實現「一鍵式」自動更新，全行4萬台伺服器可以在半小時之內完成一次性部署，部署成功率達99%以上，這是一項革命性的突破。同時Agent還可自動收集環境信息，並根據收集信息採集所需的監控及性能容量指標，上送至相關係統。
3)平台模式，業務功能「即插即用」
智能化運維平台提供了開放的19類介面供各類運維應用使用，各個應用可通過服務註冊的模式調用該平台各類功能，便於快速靈活集成，根據用戶角色不同提供不同服務視圖，提升用戶體驗。同時，平台對各類應用任務執行情況進行全流程監控，如有問題可快速定位問題節點。
4) 知識共享，打造銀行運維生態圈
智能化運維平台提供了腳本及流程的在線開發平台，運維人員可以在平台上方便地開發運維腳本並進行單元測試，腳本部署可在指定範圍內一鍵完成，部署過程、部署結果直觀展示，1分鐘之內可以完成5000台伺服器的執行，比前期使用外購產品的執行效率提升了將近30倍。
同時，平台提供了流程編排的圖形化開發界面，通過拖拽配置運維流程，完成複雜的運維操作。全行運維人員對於腳本庫內容均可實現共享，均衡了全行不同地區運維技術水平，減少了重複開發工作量，提高了運維人員成就感，打造了全行運維生態圈。
3、決勝未來，大數據支撐運維大夢想
從手工運維到自動化運維，從豎井式研發到平台化支持，運維數據得到了更有效的收集和使用。運維團隊通過大數據挖掘分析、機器學習等技術，進一步研究各類運維問題的自分析、自診斷、自修復的實現方法。
（來源：IT思想力行動力）
TAG:金融時代網 |