距離高效的深度學習推斷模型,你只差這臨門一腳
你還在為硬體功耗過高導致單次計算推斷的成本升高而苦惱嗎?你還在為特定應用場景下響應時間過長而導致用戶體驗下降而感到無力嗎?你還在為優化 AI 架構的底層代碼而感到無從下手嗎?如何優化現有的 AI 框架?在機能有限的情況下,如何最大限度地利用 GPU 的效能?
隨著深度學習技術的發展,目前已經廣泛應用於計算機視覺、語音識別、記憶網路等領域,深度學習技術,似乎已經成為了每一家科技公司的「標配」。現在市面上的深度學習框架有很多,比如 TensorFlow、Torch、Caffe 等等。但是在使用上述這些框架的日常研發過程中,你是否也有遇到過「硬體功耗過高導致單次計算推斷的成本升高、在特定的應用場景下響應時間過長而導致用戶體驗下降」的問題?
面對這些問題,一般有兩種解決辦法。一種是查看底層架構演算法邏輯,對底層代碼進行層層測試來找出其中「拖油瓶」的部分,通過手動優化演算法來提升性能;另一種就是使用工具,來對 AI 架構底層的代碼進行優化、合併,以保證效率的提升。
NVIDIA TensorRT?是一款高性能深度學習推理優化器和運行時加速庫,網上有這樣一句話來形容 TensorRT:
「
天下沒有免費的午餐,如果有,那就是 TensorRT」。
如果是說你想全方位提升深度學習架構的運算效率,NVIDIA TensorRT 就是你的不二選擇。
AI 前線聯手 NVIDIA 開發者社區,在 2019 年開年之際,為各位帶來一場「TensorRT」的在線學習課程。「TensorRT 是如何加速計算推斷進程的?對深度學習和模型訓練會有哪些幫助?TensorRT 的開發環境如何配置?」等等,你的這些疑問,在這次公開課上將會統統找到答案。
課程時間 & 形式
2019 年 1 月 10 日 (周四)晚 19:30-21:30
warm up
:19:30pm-20:00pm
talk live
: 20:00pm-21:00pmQ&A
: 21:00pm-21:30pm本次課程將全程在線直播,通過「閱讀原文」即可
免費報名
,後續獲取相應課程鏈接。課程大綱
本次課程將會系統介紹 TensorRT 的原理與開發配置,幫助你更好上手及應用 TensorRT,從而進一步優化計算推算成本,優化現有 AI 架構,課程大綱包括:
1. TensorRT 性能特點包括哪些?能幫助你解決架構優化和性能優化層的哪些問題?
2. TensorRT 優化原理是怎樣的?
3. TensorRT 的 FP16 和 INT8 的推理過程
4. 叫你快速上手 TensorRT, 並詳細了解其開發環境配置過程
備註
:NVIDIA TensorRT?是一種高性能深度學習推理優化器和運行時加速庫,可為深度學習推理應用程序提供低延遲和高吞吐量。使用 TensorRT 可優化神經網路模型,以高精度校準低精度,最後將模型部署到超大規模數據中心、嵌入式或汽車產品平台。如何報名
點擊下方
閱讀原文
即可報名參加,會務組將在報名成功後給您發送開課提醒和直播鏈接。※2019年可能會是Linux年?
※學習網路協議的最佳路徑和方法
TAG:InfoQ |