今年7月，智東西公開課教研團隊全新策劃「大廠講壇」，將邀請國內科技/互聯網大廠開設專區，圍繞最新研究成果、核心技術、業務創新，持續帶來多場直播講解。騰訊優圖實驗室專區則是此次「大廠講壇」的第一個系列性講解，目前已經確定下來六講，將圍繞優圖實驗室在弱監督目標定位、圖文多模態、TNN、高效模型、3D人臉、人臉隱私訓練及開源項目Tface這六個領域的重要研究成果進行講解和交流。
在騰訊優圖實驗室專區的前兩講中，優圖實驗室研究員興甲和志文兩位講師，分別圍繞主題《弱監督目標定位的研究及應用》和《多模態圖文內容的識別與定位》，為我們講解了優圖實驗室在弱監督目標定位、圖文多模態領域的最新研究成果及應用。錯過直播的朋友可以點擊文章底部“閱讀原文”進行回看。
9月15日晚7點，騰訊優圖實驗室專區第3講繼續開講，騰訊優圖實驗室高級研究員、TNN項目成員丹迪老師將以《開源推理框架TNN模型部署加速與優化》為主題，深度剖析TNN中的高性能加速方案。
深度學習在圖像分類、目標檢測分割、自然語言處理等等廣泛場景中的有效性驗證，致使模型計算量和OP類型都在急速增長，模型落地面臨性能、內存等一系列問題。而針對這些問題，業界涌現出了NCNN、TNN、MNN等一系列的開源推理框架，嘗試給出各自的解決方案。
在推理加速框架中，高性能計算相關技術發揮著至關重要的作用。高性能計算在推理框架的應用主要是通過在軟件層面上的優化，發揮出底層硬件的性能。近年來，底層制造工藝難以按照摩爾定律取得進展，硬件性能提升更多的是通過多核、SIMD，VILW等技術獲得，因此業界也出現了許多專注AI計算的領域專用架構(DSA)。
上層應用想要發揮硬件性能，越來越需要軟件的優化。當前的推理框架中，通常使用的是手工匯編優化的方式。此方式需要針對每個硬件平臺、每個OP進行單獨優化，工作量較大，并且當模型中存在不支持OP時，推理框架必須要更新代碼，實現對應OP才能運行。而騰訊所推出的TNN推理框架實現了多個層面的自動化方法，可以有效的優化研發效率。
在TNN中，其通過JIT（即時編譯）技術，避免完全手寫匯編，可通過一定的抽象實現不同平臺的ABI通用以及tiling尺寸搜索；其次，TNN打通TVM Relay IR，并在TVM基礎上進行了format和scheduler的優化，以進行自動調優；再次，TNN針對Pytorch模型提出了TNN-Torch加速方案，可在存在不支持算子的情況下進行子圖加速。這些方法都大大提升了模型部署的工作效率。而在本次的課程中，丹迪老師將會圍繞以上內容對TNN進行深入的講解，敬請大家期待！
丹迪是騰訊優圖實驗室的高級研究員，高性能計算碩士畢業生，也是TNN項目成員，目前主要負責TNN前沿技術(包括編譯優化、原生框架支持等)的探索和應用。他也負責過NVIDIA GPU、 X86 等多個平臺的推理框架加速工作，在底層Kernel優化，量化模型落地等方面有豐富經驗。
直播課介紹
課 程 主 題
《開源推理框架TNN模型部署加速與優化》
課 程 提 綱
1、推理框架的現狀及高性能加速
2、TNN框架中的自動調優方法
3、針對PyTorch的模型部署加速方案TNN-Torch
4、基于TNN的部署案例解析
講 師 介 紹
丹迪，騰訊優圖實驗室高級研究員，高性能計算碩士，TNN項目成員；負責過NVIDIA GPU、 X86 等多個平臺的推理框架加速工作，在底層Kernel優化，量化模型落地等方面有豐富經驗；近期主要負責TNN前沿技術(包括編譯優化、原生框架支持等)的探索和應用。
直 播 信 息
直播時間：9月15日19:00
直播地點：智東西公開課知識店鋪
