金山雲新一代GPU雲伺服器上線 基於Tesla T4性能提升350%

近日，金山雲基於Tesla T4的GPU雲伺服器正式對外商用，這也是繼去年國內首家商用Tesla V100之後，金山雲在GPU雲伺服器領域再一次拔得頭籌，代表金山雲在新技術應用上始終處於行業領先水平。

作為全面升級的新一代GPU雲伺服器，T4採用了最新的Turing架構，單卡提供8.1 TFLOPS的單精浮點計算能力和65 TFLOPS的混合精度(FP16/FP32)矩陣計算能力。Tesla T4相比於上一代產品Tesla P4，其整體性能有了較大的提升，在給定場景下，T4的推理性能提升超過350%。

打開今日頭條，查看更多圖片

震撼的多精度推理性能為AI全面加速

Tesla T4基於Turing架構，提供了更加強大的訓練和推理能力，在原有對FP32和FP16支持的基礎上，Turing架構中的Tensor Core新增了對INT8和INT4的支持，並探索性地推出了INT1精度模式。通過對多種精度模式的支持，T4能夠有效縮短在線預測和離線訓練時長。根據Nvidia公布的測試數據，在語言推理的場景中(NLP: GNMT Model)，T4相對於P4，其性能提升超過350%。

Tesla T4使用TU104核心，搭載136億個晶體管，共40個SM(stream multiprocessor)，每個SM單元中有64個CUDA Core和8個混合精度的矩陣運算單元Tensor Core，共2560個CUDA core和320個Tensor core，提供8.1 TFLOPS的單精度性能和65 TFLOPS的混合精度(FP16/FP32)性能。此外，T4中還集成了Turing架構首次引入的RT Core，可實現高效的光線追蹤(Ray Tracing)功能，在圖形圖像渲染方面有著廣泛的應用。目前，金山雲基於T4的GPU加速計算服務已全面商用，為諸多客戶提供著高性能的計算支撐。

優異的機器學習能力讓技術更智能

T4針對深度學習應用場景，進行了全方位的優化。首先，T4卡配備了320個Tensor Core。Tensor Core作為專門用於執行張量/矩陣運算的計算單元，能夠為訓練和推理場景中的矩陣運算提供極大的加速，被廣泛用於各種深度學習的場景中。Turing Tensor Core相對於先前的Volta版，強化了推理的功能，支持了INT8和INT4兩種精度模式，算力分別高達130TOPS和260TOPS。其次，T4繼承了Volta架構中首次引入的Multi-Process Service(MPS)功能，優化了對batch較小時推理的性能，減少啟動延遲，從而能夠支持更多的並發請求。

及時響應是提升用戶參與度的關鍵，隨著模型準確性和複雜性的提高，快速交付正確答案所需的計算能力也在呈指數級提升。T4擁有先進的實時推理性能，在會話式人工智慧、推薦系統和可視化搜索等場景的處理上，可提供低延時、高吞吐量的計算能力，進而實時滿足更多的處理請求。T4通過優異的機器學習推理能力讓技術應用更為智能。除了深度學習外，T4在視頻轉碼和虛擬桌面等諸多場景中都能夠發揮重要的作用。

作為中國領先的雲計算服務提供商，金山雲始終致力於通過最前沿的技術、最高效的產品為客戶提供更加安全、穩定、便捷的雲服務。目前基於T4的 GPU雲伺服器已經開放商用，卓越的深度學習推理性能，讓用戶能夠更加快速、高效地構建AI業務，運行大規模模型推理應用。同時，基於Tesla T4的實例具備易擴展和高性價比的特性，能夠為用戶節省大量計算成本，有效提升AI產品迭代的速度，提高企業AI競爭力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！