在「生成對抗網絡GAN專題講座」前4講中,獨立藝術家、游戲開發者大谷Spitzer,港中文MMLab實驗室在讀博士劉睿,中科院計算所博士(京東DMT)何振梁和羅格斯大學在讀博士韓立功,分別講解了《人工智能影像修復與AI藝術創作》、《基于條件生成對抗網絡的多樣化圖像生成》、《GAN的層次化可解釋維度學習》和《基于雙投影判別器的條件生成對抗網絡》等內容。錯過直播的朋友可以點擊“閱讀原文”觀看。

12月10日晚7點,南洋理工大學MMLab實驗室在讀博士姜瑜銘將以《對話驅動的高細粒度人臉編輯》為主題,帶來第5講的直播講解。

日常生活中,經常會用到一些人臉編輯軟件(抖音、快手、美圖秀秀)讓照片有更好的效果和呈現,在抖音、快手等的人臉特效中,GAN的身影處處都可見。但現有的人臉編輯大多采用手動的交互方式,需要手動選擇想要的發型、妝容,并且這些發型、妝容大多是固定的版式且細節信息不足,這與想要的效果有很大差異。那如何設計一個多樣且細粒度的交互式人臉編輯呢?

交互式的人臉編輯系統“Talk-to-Edit”可以滿足上面的需求,它通過用戶和系統之間的對話進行細粒度的人臉屬性操作。在Talk-to-Edit系統中,只需告訴它你想怎么編輯,它就會分分鐘幫你搞定。

Talk-to-Edit系統通過StyleGAN模型進行預訓練,為了對人臉做到連續且細粒度的編輯,在StyleGAN的隱空間中構建了一個語義場。語義場是一個非線性的向量場,它具有兩個特性:1) 對同一個人臉來說,不斷改變某一個屬性,所需要的編輯方向是不斷變化的。2)在編輯同一個屬性時,對于不同人,所需要的編輯方向也是不同的。基于語義場可以在人臉編輯過程中更好的保留這個人的身份特征,并且在編輯某一個語義特征時減少對其他無關語義特征的改變。

同時,Talk-to-Edit還用一個基于LSTM的Language Encoder來理解用戶的編輯要求,并將編碼后的編輯要求傳遞給語義場從而指導人臉編輯。更多Talk-to-Edit系統的實現細節,姜瑜銘博士將在本次講座中進行深度解讀,感興趣的小伙伴千萬不要錯過。

姜瑜銘是新加坡南洋理工大學MMLab實驗室在讀博士,師從劉子緯教授和呂健勤教授。他本科畢業于電子科技大學,主要研究方向為圖像的生成、編輯和復原。

本次講座將在智東西公開課知識店鋪進行,包含主講和問答兩個部分,其中主講環節40分鐘,問答環節20分鐘。本次講座已組建交流群,并邀請姜瑜銘博士加入,歡迎感興趣的朋友申請。

主題

對話驅動的高細粒度人臉編輯

提綱

1、人臉編輯問題的研究
2、基于預訓練StyleGAN的人臉編輯
3、Talk-to-Edit:對話式交互的高細粒度人臉編輯系統
4、視覺語言人臉屬性數據集 CelebA-Dialog
5、未來展望

主講人介紹

姜瑜銘,新加坡南洋理工大學MMLab實驗室在讀博士,師從劉子緯教授和呂健勤教授;本科畢業于電子科技大學,主要研究方向為圖像的生成、編輯和復原。

直播信息

直播時間:12月10日19:00
直播地點:智東西公開課知識店鋪