在5月14日剛剛結束的GTC 2020發布會上,NVIDIA發布了新一代GPU架構“Ampere(安培)” ,并推出首款基于Ampere架構的GPU——NVIDIA A100 。相比上一代Volta架構V100 GPU,NVIDIA A100 GPU實現了5大技術突破:
1、Ampere架構,也是A100的核心,采用7nm工藝,包含540億個晶體管,面積達到826mm2,是目前最大的7nm處理器;
2、第三代張量核心(Tensor Core),計算更加靈活、速度更快、使用更容易。其功能經過擴展后加入了專為AI開發的全新 TF32 精度,無需更改代碼,可將AI計算速度提升至上一代的20倍。此外,張量核現已支持FP64,為HPC應用提供了比上一代多2.5倍的算力。
3、多實例GPU(MIG),可以將一個A100 GPU分割成多達7個獨立的GPU實例,從而為不同任務提供靈活的算力支持,并確保GPU資源得到充分的利用;
4、第三代NVLink互聯技術,使得GPU與GPU之間的互聯帶寬達到600GB/s,是PCIe 4.0帶寬的10倍,能夠大幅提升服務器的擴展性能;
5、結構稀疏性,A100 中的 Tensor Core 可為稀疏模型提供高達 2 倍的性能提升。雖然稀疏化功能對 AI 推理更為有益,但它也可用于改善模型訓練的性能。
通過以上不同技術維度的升級組合,NVIDIA A100 GPU實現了迄今為止最大的性能飛躍,訓練峰值算力達到312 TFLOPS,AI推理峰值算力達到1248 TOPS,將AI訓練和推理性能提高到上一代的20倍。Ampere架構的發布也引發了大家的廣泛關注。
為此,智東西公開課聯合NVIDIA推出的Ampere GPU架構公開課,獨家解密NVIDIA新一代GPU架構“Ampere(安培)”。
5月26日晚7點,Ampere GPU架構公開課將正式開講,由NVIDIA中國區工程及解決方案總監賴俊杰博士主講,主題為《面向HPC及AI的巨大飛躍,NVIDIA全新Ampere GPU架構深度解析》。
賴俊杰博士將圍繞Ampere架構、新一代Tensor Core、多實例GPU、結構化稀疏性和第三代NVLink,NVSwitch技術,以及基于A100 GPU 打造的第三代AI系統DGX A100進行全方位解讀。
課程時間
時間:5月26日晚7點
地點:智東西公開課小程序
課程詳情
主題:面向HPC及AI的巨大飛躍,NVIDIA全新Ampere GPU架構深度解析
提綱:
1、NVIDIA Ampere GPU 架構總覽
2、第三代Tensor Core,及TF32應用深入解析
3、多實例GPU (Multi-Instance GPU)技術及應用場景
4、通過結構化稀疏 (Structual Sparsity) 進一步加速神經網絡計算
5、第三代NVLink,NVSwitch 及 DGX A100解讀
講師:
賴俊杰博士,現任NVIDIA中國區工程及解決方案總監。賴博士在清華大學電子工程系取得本科及碩士學位,于法國INRIA獲得博士學位。博士期間的主要的研究方向包括GPU架構研究,及GPU性能分析模型。在并行程序的性能分析,及性能優化領域有豐富的經驗。現在工作的重點是帶領團隊協助NVIDIA的關鍵用戶完成機器學習應用的工程落地,以及嘗試利用機器學習的最新技術,去解決計算機視覺,語音,游戲等行業應用中遇到的實際問題。
報名方式
添加智東西公開課小助手芒芒(ID:zhidxclass005)報名,添加時請備注“姓名-公司/學校-職位/專業”,因報名人數過多,優先通過備注者。