性能突破200PFLOPS！世界第一超級計算機Summit解析

超級計算機作為人類頂尖技術的最佳代表，在全球各個領域都起著舉足輕重的作用，一套優秀的超算能夠極大地提高科研效率甚至推動一個行業的發展進步。我國近年來在超級計算機領域頻頻發力，推出了諸如天河系列、「神威太湖之光」等多款超級計算機，甚至長期獨佔鰲頭笑傲全球。

從現實情況來看，除了我們國家，美國在超算領域的實力依舊不可小覷。在2018年的6月，美國能源部在橡樹嶺國家實驗室正式宣布了全新的超級計算機——Summit。

2018年6月25日，TOP500組織發布了第51屆全球超級計算機排行榜。在這個榜單中，來自於美國橡樹嶺國家實驗室，受美國能源部資助的Summit暫居超級計算機榜首。

美國能源部下屬橡樹嶺國家實驗室超算髮展史。

新一屆超算爭霸賽

Summit登頂

根據超算Top500排行的數據，Summit超級計算機的峰值浮點性能為187.7PFlops，Linpack浮點性能為122.3PFlops，功耗為8805.5kW。相比之下，我國的神威太湖之光的峰值浮點性能為125.4PFlops，Linpack浮點性能為93.0PFlops，功耗為15371kW。第三到第六名分別是美國的Sierra、中國天河2A（升級了全新的Matrix-2000處理器，移除了之前的Xeon Phi，性能提升至61.4PFLops Linpark）、日本的ABCI以及瑞士的Piz Daint。

Summit超算本體

除了TOP500排行榜外，在HPCG排行榜中，Summit仍然暫居第一名的位置，HPCG性能為2925.75TFlops/s。第二名到第五名分別是美國的Sierra、日本的K、美國的Trinity、瑞士的Piz Daint。

最新的TOP500排行榜，Summit登頂。

最新HPCG排行榜，依舊是Summit登頂。

根據新的排行榜和性能，Summit正在取代TITAN，成為全球最強大的超級計算機。值得注意的是，由於計算機製程和架構進步，新的Summit在功耗相比TITAN增加不多的情況下（從之前的9兆瓦提升至13兆瓦），性能提高至前代產品的10倍。需要注意的是，Summit的目標並不是單純的性能提升，而是在實際應用中實現5~10倍的性能提升。

另外，在Linpark和HPCG性能之外，由於Summit使用了目前深度學習領域最強的GV100晶元作為加速晶元，因此具有強大的深度學習計算能力，每秒可以進行30億億次混合精度計算（30 exaops），成為目前深度學習計算最強大的計算機。

近看Summit

節點、機架和整體

在了解了Summit的基本信息後，接下來本文將進一步分析組成Summit的硬體部分。

從硬體架構方面來看，Summit依舊採用的是異構方式，其主CPU來自於IBM Power 9，22核心，主頻為3.07GHz，總計使用了103752顆，核心數量達到2282544個。GPU方面搭配了27648塊英偉達Tesla V100計算卡，總內存為2736TB，操作系統為RHEL 7.4。從架構角度來看，Summit並沒有在超算的底層技術上予以徹底革新，而是通過不斷使用先進位程、擴大計算規模來獲得更高的性能。

SXM2介面的Tesla V100。

雖然擴大規模是提高超算效能的有效方式，但是為了將這樣多的CPU、GPU和相關存儲設備有效組合也是一件困難的事情。在這一點上，Summit採用了多級結構。最基本的結構被稱為計算節點，眾多的計算節點組成了計算機架，多個計算機架再組成Summit超算本身。

計算節點

2CPU+6GPU

Summit採用的計算節點型號為Power System AC922，之前的研發代號為Witherspoon，後文我們將其簡稱為AC922，這是一種19英寸的2U機架式外殼。從內部布置來看，每個AC922內部有2個CPU插座，滿足兩顆Power 9處理器的需求。每顆處理器配備了3個GPU插槽，每個插槽使用一塊GV100核心的計算卡。這樣2顆處理器就可以搭配6顆GPU。

Summit的一個計算節點，以及其內部設備。

內存方面，每顆處理器設計了8通道內存，每個內存插槽可以使用32GB DDR4 2666內存，這樣總計可以給每個CPU可以帶來256GB、107.7GB/s的內存容量和帶寬。GPU方面，它沒有使用了傳統的PCIe插槽，而是採用了SXM2外形設計，每顆GPU配備16GB的HBM2內存，對每個CPU-GPU組而言，總計有48GB的HBM2顯存和2.7TBps的帶寬。

風生水起的NVLink 2.0

繼續進一步深入AC922的話，其主要的技術難題在於CPU和GPU之間的連接。傳統的英特爾體系中，CPU和GPU之間的連接採用的是PCIe匯流排，帶寬稍顯不足。但是在Summit上，由於IBM Power 9處理器的加入，因此可以使用更強大的NVLink來取代PCIe匯流排。本刊在之前的文章中也曾深入分析過NVLink的相關技術，在這裡就不再贅述。

NVLink 2.0在民用市場無法施展拳腳，但是在超算市場可謂風生水起，圖為IBM展示的NVLink 2.0連接方案。

單顆Power 9處理器有3組共6個NVLink通道，每組2個通道。由於Power 9處理器的NVLink版本是2.0，因此其單通道速度已經提升至25GT/s，2個通道可以在CPU和GPU之間實現雙向100GB/s的帶寬，此外，Power 9還額外提供了48個PCIe 4.0通道。

國外WikiChip機構製作的Summit內部NVLink 2.0連接示意圖。

和CPU類似，GV100 GPU也有6個NVLink 2.0通道，同樣也分為3組，其中一組連接CPU，另外2組連接其他兩顆GPU。和CPU-GPU之間的鏈接一樣，GPU與GPU之間的連接帶寬也是100GB/s。

CPU之間的通訊

X匯流排登場

除了CPU和GPU、GPU之間的通訊外，由於每個AC922上擁有2個CPU插槽，因此CPU之間的通訊也很重要。Summit的每個節點上，CPU之間的通訊依靠的是IBM自家的X匯流排。X匯流排是一個4byte的16GT/s鏈路，可以提供64GB/s的雙向帶寬，能夠基本滿足兩顆處理器之間通訊的需求。

國外WikiChip機構製作的Summit內部CPU間通訊結構示意圖。

另外在CPU的對外通訊方面，每一個節點擁有4組向外的PCIe 4.0通道，包括兩組x16（支持CAPI），一組x8（支持CAPI）和一組x4。其中2組x16通道分別來自於兩顆CPU，x8通道可以從一顆CPU中配置，另一顆CPU可以配置x4通道。其他剩餘的PCIe 4.0通道就用於各種I/O介面，包括PEX、USB、BMC和1Gbps網路等。

完整的節點性能情況

Summit的一個完整節點擁有2顆22核心的Power 9處理器，總計44顆物理核心。每顆Power 9處理器的物理核心支持同時執行2個矢量單精度運算。換句話說，每顆核心可以在每個周期執行16次單精度浮點運算。在3.07GHz時，每顆CPU核心的峰值性能可達49.12GFlops。一個節點的CPU雙精度峰值性能略低於1.1TFlops，GPU的峰值性能大約是47TFlops。

請注意，這裡的數值和最終公開的數據存在一些差異，其主要原因是公開數據的性能只包含GPU部分，這也是大多數浮點密集型應用可以實現的最高性能。當然，如果包含CPU的話，Summit本身的峰值性能將超越220PFlops。

除了CPU和GPU外，每個節點都配備了1.6TB的NVMe SSD和一個Mellanox Infiniband EDR網路介面。

機架和系統

機架是由計算節點組成的並行計算單元，Summit的每個機架中安置了18個計算節點和Mellanox IB EDR交換器。每個節點都配備了雙通道的Mellanox InfiniBand ConnectX5網卡，支持雙向100Gbps帶寬。節點的網卡直接通過插槽連接至CPU，帶寬為12.5GBx2—實際上每個節點的網路都是由2顆CPU分出的PCIe 4.0 x8通道合併而成，PCI-E 4.0 x8的帶寬為16GB/s，合併後的網卡可以為每顆CPU提供12.5GB/s的網路直連帶寬，這樣做可以最大限度地降低瓶頸。

國外WikiChip機構製作的Summit的系統結構布局圖。

由於一個機架有18個計算節點，因此總計有9TB的DDR4內存和另外1.7TB的HBM2內存，總計內存容量高達10.7TB。一個機架的最大功率為59kW，峰值計算能力包括CPU的話是846TFlops，只計算GPU的話是775TFlops。

一個開放的機架有18個計算節點，開關在中部和頂部。

在機架之後就是整個Summit系統了。完整的Summit系統擁有256個機架，18個交換機架，40個存儲機架和4個基礎架構機架。完整的Summit系統擁有2.53PB的DDR4內存、475TB的HBM2內存和7.37PB的NVMe SSD存儲空間。

目前業內報告的Summit系統性能依舊偏向保守，當然，最好性能並不是最有意義的，實際的負載性能最為重要。橡樹嶺國家實驗室在初步測試Summit針對基因組數據的性能時，達到了1.88 exaops的混合精度性能，這個測試主要是用的是GV100的張量核心矩陣乘法，這也是迄今為止報告的最高性能。

邁向百億億次計算時代

從上文的介紹可以看出，Summit通過強大的CPU和GPU以及網路、系統等部分先進的技術綜合和結構設計，成功登頂了全球第一超算的寶座，並且這可能不是Summit的終點，Summit僅僅是美國能源部在探索百億億次超算道路上的一個中間站而已。

目前的消息顯示，橡樹嶺國家實驗室正在準備一款名為Frontier的百億億次超算，其性能應該可以達到Summit的5~10倍。目前尚不清楚新的超算是在Summit上升級而來還是全部重新建立，但是無論如何，百億億次級別超算正在朝我們一步步走來，時間節點在2021年左右。

美國橡樹嶺國家實驗室的超算髮展路線圖。

那麼看完了美國的超算，我國自己的超算會怎麼樣呢？目前看起來，神威太湖之光和天河系列超算短期內都沒有更新和建設的新計劃，包括新的神威系列超算和人們猜測中的天河3號等。目前國內也在盡全力衝刺百億億次級別超算，但是在工藝和設計上還有不少瓶頸和困難尚未解決，百億億次級別超算依舊在不斷的研發和構建過程中。

在這種情況下，一些業內人士估計Summit可能在未來3~5個超算排行周期都暫居領先的態勢，直到最新的百億億次超算正式登場。畢竟在超算爭霸的戰場上，沒有誰是永遠的贏家，只有不斷問世、性能更強的超級計算機。所以在這個戰場，沒有最強，只有更強。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！