「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年,主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應領域的專業知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學習和應用AI的過程中遇到的問題,也能夠盡快解決。
「AI新青年講座」目前已完結207講,有興趣分享學術成果的朋友,可以與智東西公開課教研團隊進行郵件(class@jmfly.net)聯系。
有沒有一瞬間,你要把自己腦子里的東西掏出來給別人看,或者是撬開別人的腦子看看里面都裝了什么?來自新加坡國立大學,香港中文大學,和Stanford的研究者們,基于擴散模型實現了從腦電波還原圖像的“人類視覺解碼器”——MinD-Vis。
MinD-Vis框架可通過腦圖像生成高度逼真的視覺刺激。其創新之處在于MinD-Vis能夠在極少的訓練樣本情況下,從腦信號中重建出高度逼真、語義匹配的圖像。這項研究也能促進腦機接口的發展并推動對人類視覺系統的理解。
在進行了定性和定量的基準測試后發現,MinD-Vis在語義映射(100路語義分類)和生成質量(FID)方面都優于最先進的方法,分別達到66%和41%。
5月23日,「AI新青年講座」第208講邀請到MinD-Vis一作、新加坡國立大學在讀博士陳子嬌參與,主講《基于擴散模型從腦信號中還原生成高度逼真圖像》。
講者
陳子嬌,新加坡國立大學在讀博士;由周涓教授指導,主要研究方向為多模態腦解碼與fMRI表征學習,論文發表于CVPR、AD等計算機會議、醫學期刊。
第208講
主 題
《基于擴散模型從腦信號中還原生成高度逼真圖像》
提 綱
1、腦機接口及人類視覺刺激解碼概述
2、面向視覺解碼的稀疏掩碼雙條件擴散模型
3、極少訓練樣本的MinD-Vis視覺解碼框架
4、生成質量測試和未來展望
直 播 信 息
直播時間:5月23日19:00
直播地點:智東西公開課知識店鋪
成果
論文標題:《Seeing Beyond the Brain: Conditional Diffusion Model with Sparse Masked Modeling for Vision Decoding》
論文地址://arxiv.org/abs/2211.06956
開源地址://github.com/zjc062/mind-vis