從RGB視頻中創建一個可驅動的數字人是困難的，尤其還要兼顧生成質量、真實感、表現力、實時性等方面。但是，目前主流的三維人體重建方法在觀察和分離人體姿態與衣物形變之間面臨很大挑戰，無法生成穿著寬松衣服的數字人。
為了解決這個問題，在CVPR 2022會議上，清華大學鄭澤榮博士等人在神經場景渲染技術的基礎上引入了一種新的表示方法，其核心是將傳統NeRF模型分解為一組結構化的局部輻射場。此局部輻射場表示方法可以從粗到細分為三個層次：第一層是骨架運動；第二層是節點殘余平移；第三層是每個單獨輻射場內的動態細節變化，這種結構化、多層次的表示不僅能夠支持對衣服動態細節的建模，還便于與人體其他部分相組合，且非常有利于實時化加速。
實驗證明，該方法無需預先掃描人體幾何模型，就能夠自動構建穿著各種類型服裝的數字人。同時，給定任意新的姿勢，此方法也能夠生成具有動態細節的圖像，還能夠支持實時渲染。
2月13日晚7點，「AI新青年講座」第194講邀請到清華大學直博生鄭澤榮參與，主講《基于NeRF自動構建可驅動的實時全身數字人》。
第194講
主題
基于NeRF自動構建可驅動的實時全身數字人
提綱
1、RGB視頻中創建可驅動數字人的挑戰
2、主流三維人體重建方法及局限性
3、采用結構化局部NeRF自動構建實時數字人
4、任意姿勢下生成的衣服動態細節表現
講者介紹
鄭澤榮，清華大學直博生，本科畢業于清華大學自動化系，曾在美國南加州大學和Facebook Reality Lab實習；研究方向聚焦于三維視覺，主要圍繞三維人體建模展開，研究內容包括了三維人體的運動捕捉、單圖像三維人體重建、三維可驅動數字人學習；截至到目前，已在CVPR、ICCV、ECCV、TPAMI發表論文16篇，其中一作5篇，二作5篇，口頭報告7篇，Google Scholar引用量超1000次。
課程信息
直播時間：2月13日19:00
直播地點：智東西公開課知識店鋪
