「智猩猩AI新青年講座」由智猩猩出品，致力于邀請青年學者，主講他們在生成式AI、LLM、AI Agent、CV等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。
2022年，Stable Diffusion模型橫空出世，為工業界，投資界，學術界以及競賽界都注入了新的AI想象空間。然而文本本身具有的模糊性與歧義性，往往需要用戶熟練提詞技能與反復調試；而LoRA與Dreambooth為代表的逐圖重訓需要昂貴且緩慢的訓練，即速度慢開銷大。如何讓大規模文-圖生成模型如臂使指？急需對大規模文-圖基礎模型的精細控制管線與推理階段通用知識注入機制進行研究，以降本增效，推動其在業務場景的廣泛應用。
針對以上問題，上海交通大學與阿里巴巴淘天集團共同提出了圖像生成模型推理階段的知識注入方法，并基于該方法合作開發了虛擬試衣模型AnyFit，取得了目前SOTA的試衣效果。相關論文為《AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario 》，目前NeurIPS在投。
AnyFit主要由兩個同構的U-Net組成：HydraNet和MainNet。其中，HydraNet負責提取細粒度的服裝特征；MainNet負責生成試穿效果。
AnyFit以一個人像圖像和一個或多個目標服裝圖像為輸入。再使用OpenPose等工具從人像圖像中提取出人體的輪廓部分，以便后續將服裝圖像融合到該輪廓上。
利用HydraNet對目標服裝圖像特征提取。在HydraNet中，通過共享的U-Net結構和并行化注意力模塊來高效地整合不同服裝的特征。
HydraNet提取的服裝特征通過Hydra Fusion Block特征融合融合塊注入到MainNet中。MainNet的輸入包含三個組件（帶噪聲的圖像、潛在的與服裝無關的圖像和調整大小的遮罩），然后通過內部的U-Net結構和Pose Guider進行處理，最終生成逼真的試穿圖像。
同時，為了提升模型在生成服裝圖像時的強度和適應性，AnyFit采用了一種先驗模型演化策略。該策略融合了三種不同且強大的模型權重，分別是：SDXL-base-1.0、SDXL-inpainting-0.1和DreamshaperXL alpha2，來演化模型的初始權重，以極低的成本提升了模型的性能。
8月20日10點，智猩猩邀請到論文一作、上海交通大學在讀三年級博士生、阿里學術合作實習生李昱翰參與「智猩猩AI新青年講座」248講，主講《圖像生成模型的知識注入在虛擬試衣AnyFit中的應用》。
講者
李昱翰
上海交通大學在讀三年級博士生、阿里學術合作實習生
第248講
主 題
圖像生成模型的知識注入在虛擬試衣AnyFit中的應用
提 綱
1、大規模文-圖基礎模型的精細控制管線面臨的挑戰
2、條件注入控制技術的演進與前沿進展
3、基于細粒度條件注入的虛擬試衣技術開發
-服裝保真性研究
-模型泛化性研究
-業務場景魯棒性研究
4、總結與展望
直播信息
直播時間：8月20日10:00
直播地點：智猩猩GenAI視頻號
成果
論文標題
《AnyFit: Controllable Virtual Try-on for Any Combination of Attire Across Any Scenario》
論文鏈接
//arxiv.org/abs/2405.18172
項目網站
//colorful-liyu.github.io/anyfit-page/
入群申請
本次講座組建了學習交流群。加入學習交流群，除了可以觀看直播，并提前拿到課件外，你還能結識更多研究人員和開發者，所提問題也將會優先解答。
希望入群的朋友可以掃描下方二維碼，添加小助手米婭進行申請。已添加過米婭的老朋友，可以給米婭私信，發送“ANY248”進行申請。
