顯卡是這樣加速人工智慧開發的：強大並行處理能力助力

本文由騰訊數碼獨家發布

人工智慧可能是人人都在談論的一個熱門話題，但要真正開發人工智慧項目卻並非易事。開發人工智慧項目需要的不僅僅是掌握數學和數據科學知識，還需要對神經網路和深度學習原理有一定了解，更不要說將這些理論知識轉化為實際模型和應用所需要的工具了。

開發人工智慧項目還需要海量處理能力——甚至遠遠超過對處理能力要求極高的標準應用。獲得這種量級處理能力的一個途徑是雲計算服務，但是，由於深度學習模型需要數天，甚至數周時間的運行才能得出結果，因此，使用雲計算服務的成本可能極其昂貴。因此，本文將闡述不需要雲計算服務的方案，以及顯卡成為人工智慧開發者必需品的原因。

顯卡

認為本文的讀者了解什麼是CPU（中央處理器），以及最新款英特爾和AMD處理器的處理能力是合理的。但對於人工智慧開發者來說，僅僅使用CPU是不夠的。它們確實能處理數據，但構建、訓練深度學習模型需要分析的海量非結構數據，需要它們開足馬力運行數周時間才能完成。甚至是多核CPU在處理深度學習應用方面也捉襟見肘，而這正是GPU（圖形處理單元）的用武之地。

讀者應該對GPU有了很好的理解。本文討論的是最初為處理複雜圖形而開發的專用處理器，例如，使我們能觀看高清電影，或玩多人3D遊戲，享受虛擬現實內容。GPU尤其擅長處理矩陣——這是CPU所不擅長處理的，這也使得它們非常適合運行深度學習等專門應用。在一個裸片中能集成的GPU內核數量多於CPU。例如，對於英特爾至強晶元，目前一個晶元插座最多可以有28個內核，一塊顯卡可以集成數千個內核——能同時處理人工智慧數據。

由於所有這些內核都是高度專業化的，它們不能運行操作系統，或運行核心應用，因此，用戶仍然需要一個或多個CPU。但是，這些系統的功能，是通過把這些任務從CPU轉移到顯卡子系統中的內核，大規模加速深度學習訓練等過程。

實際應用中的顯卡

以上是關於理論方面的，在實際應用中，多家顯卡廠商都推出了針對各類應用的顯卡，例如遊戲、專業的HPC（高性能計算）和人工智慧。這一領域的領頭羊是英偉達及其Pascal GPU架構——長期以來它一直是其他廠商模仿的對象。

讀者可以以很低的費用，利用低價遊戲顯卡從事人工智慧開發。例如，一塊英偉達GeForce GTX 1060顯卡，價格僅為270英磅，它包含有1280個CUDA（統一計算設備架構）內核——英偉達顯卡的核心技術。這一顯卡聽起來非常厲害，但實際上，它的處理能力不足以滿足認真的人工智慧開發者的需求。

在專業人工智慧應用方面，英偉達擁有處理能力強大和可伸縮的顯卡，它們基於其Pascal技術和更新的Volta架構——集CUDA內核與英偉達專門面向深度學習的Tensor內核技術於一體。在深度學習模式訓練方面，Tensor提供的峰值處理能力相當於CUDA的12倍，在推理——深度學習模型的實際應用——方面，提供的吞吐量相當於CUDA的6倍。

基於Volta的首款產品是Tesla V100顯卡，它集成有640個專門用來執行人工智慧任務的Tensor內核和5120個通用HPC CUDA內核，以及16GB或32GB第二代高帶寬內存（以下簡稱「HBM2」）。

V100產品形式有標準的PCIe顯卡（起步價約為7500英磅），或尺寸更小的SXM模塊——能插入專門的主板插座，帶有PCIe介面，使多個V100能利用英偉達自家高速NVLink匯流排技術連接起來。最初開發時，NVLink的目標是支持第一代（基於Pascal架構）的Tesla顯卡，後來得到增強，每塊顯卡可以支持至多6個連接，綜合帶寬達到每秒300GB。NVLink還適合用於全新Quadra顯卡和基於Volta架構的其他顯卡。另外，市場無時無刻不在快速變化著，新出現的NVSwitch是一種基於包交換技術的互連技術，能利用每秒2.4TB的連接，把至多16塊顯卡連接在一起。

現成的人工智慧解決方案

當然，顯卡本身沒有多大用途。在嚴肅的人工智慧和其他HPC應用方面，有許多方式可以應用顯卡。其中之一是購買一塊一塊的顯卡，以及構建完整系統所需要的其他元器件，並把它們組裝在一起。但是，幾乎沒有企業樂意採用這種DIY的方式，它們更願意從英偉達或其合作夥伴購買現成的——更重要的是得到廠商支持的解決方案。

當然，這些現成的解決方案都採用相同的顯卡技術，但採用不同的部署方式。因此，為了對市場有更好的了解，我們來簡要介紹下英偉達銷售的產品和Boston Limited的產品。

英偉達人工智慧系列產品

英偉達渴望外界把它稱作「人工智慧計算公司」，以DGX品牌銷售兩款伺服器（DGX-1以及更新和處理能力更強大的DGX-2）以及一款人工智慧工作站（DGX Station），它們的核心是Tesla V100顯卡。

DGX伺服器和工作站機箱配色為金黃色，是一種買來即可使用的解決方案，由標準的硬體配置和整合的DGX軟體包組成——Ubuntu Linux OS以及開發人工智慧模型所需要的領先框架和開發工具。

我們首先來看看DGX-1（建議零售價為14.9萬美元），就是一個3U機架式機箱。令人遺憾的是，在實驗室的一台DGX-1正在忙於訓練模型。除拍攝外觀照片外，我們無法拍攝其內部照片。但根據我們看到的其他DGX-1，我們知道它是一款相當標準的機架式伺服器，帶有4個電源。其內部也是標準化的，包含一塊傳統的2路伺服器主板——安裝有兩個集成有20個內核的英特爾至強E5-2698 v4處理器和512GB DDR4內存。

一塊容量為480GB的固態硬碟存儲操作系統和DGX軟體包，由4塊容量為1.92TB的固態硬碟組成的一個存儲陣列用於存儲數據。如果有需要，用戶可以為系統增添更多存儲容量。網路連接由4塊Mellanox InfiniBand EDR網卡和兩塊10Gb乙太網網卡處理。它還有一個專用的千兆乙太網介面，用於IPMI遠程管理。

最為重要的顯卡有「它們自己的家」，一塊NVLink電路板的8個插座內都安裝有Tesla V100 SXM2模塊。第一個版本只支持16GB專用HBM，但DGX-1目前支持32GB的模塊。

無論配置多大容量的內存，DGX-1都包含有40960個用於運行傳統HPC任務的CUDA內核，以及5120個專門用來處理人工智慧任務的Tensor內核。據英偉達稱，它們能提供960 TFLOP的人工智慧處理能力，使得DGX-1處理能力相當於只配置CPU的25個傳統伺服器機架。

值得指出的是，領先的深度學習框架都支持英偉達顯卡技術。另外，當使用Tesla V100顯卡時，系統運行速度是使用基於Pascal的P100顯卡（只集成有CUDA內核）的3倍。

DGX-1買主還能受益於來自英偉達每天24小時、每周7天的支持、更新和維護服務，這些服務的價格為每年23300美元，3年為66500美元。鑒於開發人工智慧項目的複雜性，許多客戶都認為這樣的服務物有所值。

工作站也能開發人工智慧

令人遺憾的是，更新的集成有16塊顯卡的DGX-2和NVSwitch發售時間沒有趕上我們評測，但我們對DGX Station進行了評測。DGX Station旨在為深度神經網路的開發、測試和整合提供一個更廉價的平台。這款HPC工作站還對希望尋求人工智慧開發平台，然後再擴大項目規模、部署到伺服器或雲計算環境中的公司有吸引力。

DGX Station採用塔式機箱，配置華碩主板和一個集成有20個內核的至強E5-2698 v4處理器（DGX-1伺服器集成有兩個處理器），系統內存也減半至256GB，集成的顯卡由8塊減少為4塊，4塊Tesla V100顯卡通過NVLink互連技術連接在一起。

存儲系統分為兩部分，一塊容量為1.92GB的固態硬碟用於存儲系統軟體，由三塊容量相似的固態硬碟組成的存儲陣列，用於存儲數據。雙10Gb乙太網連接提供必要的網路連接，三個DisplayPort介面支持至高4K解析度顯示器。水冷系統是標配，整個系統噪音相當低，顏值不低。

雖然顯卡數量減半，但DGX Station能提供480 TFLOP的人工智慧處理能力。雖然這一處理能力僅為DGX-1伺服器的一半兒，但仍然是相當高的處理能力，而且價格相當低廉。系統價格為6.9萬美元，每年服務費為10800美元，3年為30800美元。

Boston Anna Volta XL

我們評測的第三款產品是Boston最近公布的Anna Volta XL。它與英偉達DGX-1基本相當，同樣配置兩顆至強處理器和8個Tesla V100 SXM2模塊。它們都安裝在一個Supermicro機架式伺服器中，與DGX-1相比有更多的定製選項。

Anna Volta XL尺寸略大於DGX-1，配置4U機箱和冗餘（2+2）電源。它支持熱設計功耗為205瓦或更低的至強處理器，其中包括最新的Skylake架構至強處理器——DGX-1尚不支持。

24個DIMM插槽可以提供至多3TB系統內存，16個2.5英寸硬碟位，能夠容納16塊SATA/SAS硬碟和8塊NVMe硬碟。兩個10Gb乙太網介面提供網路連接，一個介面用於IPMI遠程管理。系統還提供有6個PCIe插槽。

Anna Volta價格遠低於英偉達伺服器。對於與DGX-1相似的配置，Boston報價為11.9萬美元（節省3萬美元）。Boston還提供諸多有競爭力的支持和維護服務。

在我們評測的產品中，它們在顯卡方面並沒有什麼真正的區別，因此，選擇哪款平台只取決於偏好和預算。由於其他廠商計劃加入這一戰團，雖然專業人工智慧平台的需求在增長，但價格卻開始下跌。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！