「騰訊優圖實驗室專場」將圍繞優圖實驗室在弱監督目標定位、圖文多模態、TNN、高效模型、3D人臉、人臉隱私訓練及開源項目Tface這六個領域的重要研究成果進行講解和交流。

深度神經網絡的優化目標是為了獲得更高的模型準確率，以及更快的模型推理速度。而為了獲得更輕、更快的網絡，模型剪枝技術在近些年來吸引了很多研究人員的關注。

模型剪枝技術又包括了結構化剪枝（Filter/Channel pruning）和非結構化剪枝（Weight pruning）兩種方式。結構化剪枝利于工程加速，非結構化剪枝能夠裁剪更多的參數，兩者之間各有優劣勢。

那么是否可以考慮將結構化剪枝和非結構化剪枝的優勢相結合呢？答案自然是可以的。騰訊優圖便提出了一種介于結構化剪和非結構化剪枝之間的剪枝方法：Stripe-Wise pruning。該方法通過裁剪濾波器的形狀，對模型進行裁剪，并且能夠兼容filter pruning，實現更加精細的裁剪。此外，通過改變卷積的計算方式，Stripe-Wise pruning能夠結構化的實現裁剪后不同形狀的濾波器，便于模型加速。最終的實驗結果也表明該方法能夠達到結構化剪枝的最優效果。

當然，除了Stripe-Wise pruning，騰訊優圖實驗室在模型剪枝的領域還提出了其他的成果。比如去除模型殘差的直筒型網絡剪枝方法RM Operation。殘差連接使訓練更深的網絡成為了可能，但其碎片化的操作卻不利于高效并行推理，同時相鄰殘差塊輸入輸出通道的一致性，都限制了剪枝的效果。而RM Operation能夠等價的去除模型的殘差，對去除殘差的ResNet進行剪枝，模型推理速度快于直接對ResNet進行剪枝。

還有與剪枝相反的濾波器嫁接方法Filter grafting。在某些場景下，我們不希望改變模型的結構，只希望提升模型的準確率。但模型訓練過程中，總是容易有參數沒有被有效利用。而Filter grafting與Filter pruning正相反，希望激活模型中的無效濾波器，從而在不改變模型結構的情況下，提升模型的準確率。此外，該方法可以通過濾波器的信息熵來自適應的判斷嫁接的比例，能夠在多個數據集，多種任務上提升模型的效果。并且Filter grafting可以即插即用，也可以和蒸餾等其他方法一起使用。

10月13日晚7點，騰訊優圖實驗室專場第4講將開講。騰訊優圖實驗室研究員繁續將在這一講中，以《基于模型剪枝的高效模型設計方法》為主題，對深度神經網絡優化中的剪枝技術進行深入講解。

繁續目前是騰訊優圖實驗室研究員，研究方向為高效模型的訓練、剪枝、設計方法等，研究成果曾以第一作者身份發表于CVPR、NeurIPS等頂級會議上。

專場介紹

專 場 主 題

《基于模型剪枝的高效模型設計方法》

專 場 提 綱

1、深度神經網絡優化中的剪枝技術
2、裁剪濾波器形狀的剪枝方法
3、去除模型殘差的直筒型網絡剪枝方法
4、與剪枝相反的濾波器嫁接方法

講 師 介 紹

繁續，騰訊優圖實驗室研究員，研究方向為高效模型的訓練、剪枝、設計方法等，研究成果曾以第一作者身份發表于CVPR、NeurIPS等頂級會議上；其中在《Pruning Filter in Filter》NeurIPS2020提出一種細粒度的結構化剪枝方法；在《Filter Grafting for Deep Neural Networks》CVPR2020提出一種與剪枝相反的嫁接操作。

專 場 信 息

直播時間：10月13日19:00
直播地點：智東西公開課直播間