雲漸成大氣候：公共雲上的超級計算機，躋身TOP500中的第136位

Descartes Labs打造了世界上速度最快的TOP500超級計算機之一，這也是這份榜單上第一個在虛擬化公共雲資源上運行的系統。

Descartes Labs的Linpack Benchmark得分為1.926 petaflops，使用AWS上公開可用的雲資源

早在1998年，Mike Warren及其在洛斯阿拉莫斯國家實驗室的同事們組裝了第一個躋身世界上速度最快的超級計算機TOP500榜單的Linux集群，一年後他第二次摘得高性能計算領域的最高獎戈登?貝爾（Gordon Bell）獎。如今，21年後他領導Descartes Labs的技術團隊，完成了另一個開創先河的壯舉：使用公共雲中的虛擬化資源，創下了新的性能基準記錄，獲得的運算速度（petaflops）比2010年世界上最快的計算機更勝一籌。

Mike在1998年使用Linux稱得上是個另類，因為榜單上另外499台超級計算機每一台使用五花八門的專有操作系統。他早已厭倦了在IBM、Sun和五六種版本的UNIX之間移植代碼，因此Linux提供的硬體和軟體分離這個優點得到了積極的支持。除了可擴展性、互操作性和全球社區等其他優點外，Linux還讓Mike及HPC的其他創新者得以通過將商用PC組裝成各自的定製超級計算機，改變遊戲規則。

Mike Warren在1998年展示了第一台躋身TOP500榜單的Linux超級計算機

今天，曾經的孤例現在成了事實上的標準，因為TOP500超級計算機榜單上的每一台都運行Linux。採用Linux操作系統表明簡化HPC應用軟體的設計和部署方面迎來了巨大飛躍。過去，相關人員會購買一個特殊的IBM或Cray系統，然後很容易購買郵購的PC並安裝Linux，現在亞馬遜及其他雲提供商基本上讓人們無需操心硬體部分。由於用途一分為二：專用機器上運行的「緊密耦合」應用軟體和在公共雲中運行的「鬆散耦合」應用軟體，大概2002年開始這個最新動向徹底顛覆了HPC供應商，儘管兩者在底層使用實際上相同的硬體。

TOP500榜單上的500台超級計算機現在全都運行Linux

鬆散耦合的應用軟體在擁有數萬個乃至數十萬個核心的公共雲上成功地運行，這方面有許多知名的例子。Descartes Labs運行眾多應用，涉及藥物發現、材料科學、粒子物理學以及數PB衛星圖像的清潔和調校。這些「大規模並行」應用本身就很驚人，但缺乏「互聯」或核心到核心的低延遲網路通信，而支持大型物理模擬（比如地震處理、熱力學、宇宙學和天氣預報等）需要這種網路通信。這些高度互聯的應用之前被認為僅適用於龐大的內部部署系統，比如橡樹嶺國家實驗室的Summit超級計算機或中國的神威?太湖之光，後者用於藉助一種名為「N體模擬」的技術來模擬宇宙的誕生。

2019年考驗公共雲的極限

正如Descartes Labs團隊最近在2019年4月的復活節周末展示的那樣，這兩條超級計算路徑可能會再次開始趨於融合。使用AWS上公開可用的競價資源，在運行標準的HPC測試：一種名為Linpack Benchmark的巨大矩陣反轉時，達到了1.926 petaflops的性能。Descartes Labs工程團隊當時的目標是使用Linpack Benchmark看看雲的擴展性有多好。既然它能夠在TOP500榜單上排名第136位，那麼它應該能夠為Descartes Labs運行全球規模的客戶模型，包括為嘉吉（Cargill）和DARPA開發的模擬。

Descartes Labs躋身TOP500榜單的超級計算機的重要細節。請注意AWS上的虛擬化處理器以及Rmax Linpack和Rpeak基準測試速度。

這個故事一個更值得關注的方面是，Descartes Labs沒有要求亞馬遜給他們的工程師任何特殊的規格、折扣或定製規劃或設置。

Descartes Labs想看看其是否可以自行打造超級計算機，如果成功完成，這也將證明AWS的自助服務模式。

Descartes Labs的團隊只是遵循標準步驟來請求「放置組」（placement group），即高網路吞吐量實例塊，這有點像在AWS基礎設施中預留小型橡樹嶺國家實驗室。

Descartes Labs被授權訪問AWS US-East 1區域中的一組節點，公司信用卡被扣除約5000美元的費用。HPC大眾化的潛力顯而易見，因為以這種速度運行定製硬體的成本可能更接近2000萬美元到3000萬美元，更不用說一年半載的等待時間了。

Mike認為這是「虛擬化」處理器第一次用在TOP500榜單上的超級計算機，不過AWS之前以性能只有四分之一的0.484 petaflop系統上榜，該系統被廣泛認為在裸機硬體上運行。

Descartes Labs的系統使用獨特的技術，比如Descartes Labs代碼與虛擬化的AWS英特爾Skylake處理器之間經過微調的虛擬機管理程序，以及MPI消息傳遞的高級使用和Packer工具，後者用於創建同樣的機器映像，機器映像管理每個節點上的軟體配置。所有這些組合起來，可能意味著Descartes Labs系統在TOP500榜單上因獨特的軟體類別佔有一席之地。

Mike Warren今天的願景是讓早期的Linux繼續發揚廣大。他清楚這句老話「人人知道雲對緊密耦合的HPC來說無用。」但他認為事實根本並非如此。雲絕對大有用途。它不是什麼魔法，而是結合了經驗、技能和創新理念。出於某種原因，其他人還沒有真正嘗試過雲。這有點像沒人知道你可以使用郵購的PC來組裝自己的超級計算機，或者沒人知道你可以使用Linux，而不是處理IBM或Cray上交付的最新版本的UNIX。

在Descartes Labs位於聖菲的總部，其團隊不斷調整為全球規模的地球科學項目提供服務所需的理想架構。這些項目包括大規模天氣模擬、地震建模中的巨型3D傅里葉變換以及大氣中的溫室氣體混合動力學。

Descartes Labs認為，真正的HPC應用軟體最終會大批遷移到雲端。與傳統超級計算機相比具有的優勢很難被忽視。HPC專業人員可能以高價購買自己的系統，或者在高度專門化的集群上租賃時段，這個集群可能使用兩年前的舊版Linux，需要更新。而在雲端，它完全歸你控制。可以有七個不同版本運行針對特定應用調整的不同Linux內核，而且管理起來很輕鬆。

總之，超級計算機歷來被用於非常特定的用途，但云可以適用於諸多用途。HPC的大眾化正在將價位降低到公司企業可以接受的水平。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！