「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年,主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應領域的專業知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學習和應用AI的過程中遇到的問題,也能夠盡快解決。
有興趣分享學術成果的朋友,可以與智東西公開課教研團隊進行郵件(class@jmfly.net)聯系。
在所有的圖形學技術中,高動態范圍全景貼圖(HDRI)能夠提供逼真的場景光照和沉浸式的環境紋理,然而能夠直接應用的HDRI需要有足夠多的場景細節、極高的分辨率和記錄光照的高動態范圍,這使得不論是采集還是編輯HDRI都變得十分困難和昂貴。
那么能否使用圖像生成模型來合成HDRI呢?
南洋理工大學MMLab在讀博士陳昭熹等人提出了一個基于零次學習文字驅動的HDR全景圖合成框架Text2Light,能夠根據輸入的場景描述合成分辨率超4K的具有高動態范圍的全景圖。
Text2Light主要由兩個階段組成,分別對應著離散和連續的兩種不同的表征。階段一通過使用基于層級碼本的離散表征,來實現文本驅動的低動態范圍全景圖合成;階段二通過使用基于結構化球面場的連續表征,來實現超分辨率逆向色調映射,將階段一的低動態范圍全景圖轉化為高動態范圍的高清全景圖。
Text2Light能夠根據任意輸入文本來合成高清HDR全景圖,生成的結果提供逼真的環境光照,且可以直接應用在Blender、UE、Maya等現代圖形學渲染管線中,直接渲染數字資產。
11月21日晚7點,「AI新青年講座」第172講邀請到南洋理工大學MMLab在讀博士陳昭熹參與,主講《利用文本生成虛擬HDR全景圖》。
講 者
陳昭熹,南洋理工大學MMLab在讀博士
師從劉子緯教授,本科畢業于清華大學;研究興趣為三維計算機視覺和生成模型,尤其在三維數字內容生成和神經渲染方面,曾在ICCV、ECCV、SIGGRAPH Asia上發表多篇學術論文。
主 題
利用文本生成虛擬HDR全景圖
提 綱
1、HDRI高動態范圍全景貼圖應用的局限
2、利用文本生成全景圖面臨的挑戰
3、零次學習文字驅動的HDR全景圖生成框架
4、分辨率超4K的360度全景圖生成
直播信息
直播時間:11月21日19:00
直播地點:智東西公開課知識店鋪
成 果
Text2Light:《Text2Light: Zero-Shot Text-Driven HDR Panorama Generation》
論文鏈接://arxiv.org/pdf/2209.09898.pdf
開源代碼://github.com/FrozenBurning/Text2Light