「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年，主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。

有興趣分享學術成果的朋友，可以與智東西公開課教研團隊進行郵件（class@jmfly.net）聯系。

現有的計算機視覺系統在設計之初普遍未考慮相關的安全威脅，使得其判斷結果容易被惡意攻擊者影響，導致AI系統判斷失準。對抗樣本的出現導致AI的安全問題備受關注，而對抗圖塊作為目前最主流的物理對抗攻擊方式，成為了攻擊和防御聚焦的熱點。形狀和紋理是影響圖像識別的兩個重要因素，現階段的對抗圖塊更多地考慮如何生成更加魯棒的對抗擾動，而忽視了圖塊本身的形狀，即圖塊的形狀是固定的，例如圓形或者正方形。

為了探究形狀對對抗圖塊的影響，復旦大學在讀博士、騰訊優圖實習生兆宇等人提出了一種可微計算的圖塊表示 (DPR)，利用三角形的幾何結構來判定像素點在形狀輪廓的內或外，從而僅依靠梯度便生成可微且可形變的二進制掩碼。為了同時優化對抗圖塊的形狀和紋理，他們還提出了一種可形變對抗圖塊 (DAPatch)，利用形變來提高攻擊性能。

實驗證明，一個具有特定形狀的對抗圖塊具有更強的攻擊性。在ILSVRC2012和GTSRB上的實驗說明了在數字域上，DAPatch具有目前最先進的白盒攻擊性；而物理實驗說明，DAPatch可以實現更強的物理攻擊。本工作也是首次從對抗樣本的角度來研究形狀對神經網絡魯棒性的重要性，這有助于理解和探索現有計算機視覺系統漏洞的本質。

在對抗圖塊防御上，由于經驗圖塊防御被自適應攻擊所攻破，因此研究熱點轉向了可信圖塊防御。可信圖塊防御能夠基于理論分析，保證模型在任意對抗圖塊攻擊下的魯棒性。但是現有的可信圖塊防御難以擴展到大數據集上，而且在大數據集上的正常準確率較低，且和可信準確率的差距較大，這限制了該類防御的應用。目前，ViT在很多視覺任務上證明了其具有巨大的潛力，而傳統的Derandomize smoothing(DS)方法能夠支持任意網絡架構。然而直接將DS中的CNN用ViT取代仍會遇到較低準確率和較慢推理速度的問題。

為了解決較低準確率的問題，兆宇等人提出了一個漸進式平滑圖像建模任務。通過逐步重建，基分類器可以在保留全局語義信息的同時明確地捕獲圖像的局部上下文，從而提高正常和可信準確率。為了提高推理速度，他們設計了孤立自注意力單元，通過滑動窗口將輸入圖像劃分為不同條帶，分別計算每個條帶單元中的自注意力，為多個條帶的并行計算提供了可行性。

實驗表明，該方法能在CIFAR-10和ImageNet上高效推理，并獲得了目前最先進的正常和可信準確率。此外，在ImageNet上，2%圖塊攻擊實現了目前最先進的可信準確率(41.70%)。同時，其78.58%的正常準確率超過了正常訓練的ResNet-101(78.18%），從而證明了該方法能夠在保證模型魯棒性的前提下具有較高的精度。

7月18日晚7點，「AI新青年講座」第138講，邀請到復旦大學在讀博士、騰訊優圖實習生兆宇參與，主講《圖像分類上的對抗圖塊攻擊和防御》。

講者

兆宇，復旦大學在讀博士、騰訊優圖實習生，導師為張文強研究員；主要研究方向是人工智能安全、計算機視覺和對抗樣本，其研究工作發表在CVPR、ECCV、AAAI等會議上，并曾獲CVPR 2021對抗樣本競賽雙賽道前十。

主題

《圖像分類上的對抗圖塊攻擊和防御》

提綱

1、對抗樣本與圖像識別
2、對抗圖塊攻防現狀
3、針對圖像形狀的對抗圖塊設計
4、基于ViT的可信圖塊防御方法及實現

直播時間：7月18日19:00
直播地點：智東西公開課知識店鋪

論文成果

標題：《Towards Practical Certifiable Patch Defense with Vision Transformer》
鏈接：//arxiv.org/pdf/2203.08519v1.pdf