今年7月,智東西公開課教研團隊全新策劃「大廠講壇」,將邀請國內科技/互聯網大廠開設專區,圍繞最新研究成果、核心技術、業務創新,持續帶來多場直播講解。
8月份,「大廠講壇」第二個專區——商湯專區,正式上線。
智東西公開課特邀商湯科技工具鏈團隊的三位研究員在商湯專區帶來三場直播講解,深度講解其如何在模型量化領域從算法創新和工具沉淀兩個維度助力SenseCore AI大裝置,降低量化模型的生產成本,打造具有極致部署效率和規模化落地能力的量化模型生產體系,并分享該體系中的核心算法原理以及工具使用介紹,希望推動整個領域和社區的共同發展。
8月23日晚7點,商湯科技高級研究員龔睿昊將圍繞《離線量化算法研究》這一主題率先帶來商湯專區第一講的直播講解。
在深度學習的各個垂直領域中,模型量化對高效推理部署是至關重要的。而作為一個在各個已有工具中都會做的校準過程,離線量化是生產量化模型最簡單高效的方式,也是被主流深度學習硬件廠商廣泛支持的方式。然而它也面臨很多挑戰,比如單純的校準過程只能得到一個基線結果。
而在本次的課程中,龔睿昊老師將會圍繞該問題,首先向大家介紹DFQ(Data Free Quantization)和Adaround等經典算法的解決思路。其中DFQ提出了Weight Equalization/Bias Correction等相關算法,能夠有效地解決離線量化中遇到的精度問題,顯著地提升離線量化精度;Adaround算法則在校準模型張量統計范圍的基礎上更進一步,直接通過優化過程決定了模型張量中每個數值的取整方向,極大地提升了離線量化模型的精度,在學術模型中4bit下能夠接近FP32的精度。
最后,他將重點解析商湯所提出的原創算法Brecq。Brecq是在Adaround的基礎上,平衡了全局優化的難度和逐層優化的效果之間的平衡關系,基于梯度分析得出塊重建算法,使得離線量化算法有了更進一步的提升。
龔睿昊碩士畢業于北航計算機學院,大三下加入商湯科技實習,現為商湯科技高級研究員。期間他先后從事視頻結構化解析系統開發,模型量化壓縮框架的設計開發和相關算法研究,服務大量業務線模型的壓縮落地。他曾獲得商湯科技未來之星、騰訊犀牛鳥人才培養計劃、CCF優秀大學生、北京市三好學生、國家獎學金等,在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊會議上發表15篇論文(其中3篇一作,4篇二作),現階段主要研究和工作方向為: 深度學習模型壓縮和部署編譯,致力于打破硬件彩票假設,最大化榨取模型和系統的潛力。
本次課程將在智東西公開課知識社區進行,包含主講和問答兩個部分,其中主講環節40分鐘,問答環節20分鐘。每個環節主講老師都將通過視頻直播進行實時講解與互動。
同時,我們還組建了相應的技術討論群。加入討論群,除了可以免費收看直播進行學習之外,還能與講師,以及更多研究人員和開發者認識和交流。
直播課介紹
課 程 主 題
《離線量化算法研究》
課 程 提 綱
1、離線量化算法的研究及挑戰
2、DFQ和Adaround等經典算法解析
3、基于塊重建的離線量化算法Brecq
講 師 介 紹
龔睿昊,商湯科技高級研究員;期間他先后從事視頻結構化解析系統開發,模型量化壓縮框架的設計開發和相關算法研究,服務大量業務線模型的壓縮落地;曾獲得商湯科技未來之星、騰訊犀牛鳥人才培養計劃、CCF優秀大學生、北京市三好學生、國家獎學金等;在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊會議上發表15篇論文(其中3篇一作,4篇二作);現階段主要研究和工作方向為: 深度學習模型壓縮和部署編譯,致力于打破硬件彩票假設,最大化榨取模型和系統的潛力。
直 播 信 息
直播時間:8月23日19:00
直播地點:智東西公開課知識店鋪