「騰訊優圖實驗室專場」是騰訊優圖實驗室在智東西公開課開設的系列專場,主要講解騰訊優圖實驗室在計算機視覺領域的最新研究成果與進展。
從7月開始,騰訊優圖實驗室研究員興甲、志文、丹迪、繁續和佳祥五位老師,先后直播講解了《弱監督目標定位的研究及應用》、《多模態圖文內容的識別與定位》、《開源推理框架TNN模型部署加速與優化》和《基于模型剪枝的高效模型設計方法》。錯過直播的朋友可以點擊“閱讀原文”觀看。
12月15日晚7點,騰訊優圖實驗室高級研究員振宇將圍繞《人臉3D重建前沿研究及熱點趨勢》這一主題帶來第6講的直播講解。
人臉3D重建是計算機視覺和圖形學領域研究的重要問題,在社交、游戲、影視等行業有廣泛的應用。目前,人臉3D重建既可以通過學習調節參數化人臉模板來實現,也可以根據光線與幾何間的相互作用來推斷。
通過調節參數化人臉模板的方法主要是借助有效的先驗輔助來進行求解,像經典的人臉3DMM優化方法,但由于這些先驗知識表達能力有限,通常無法獲得令人滿意的重建效果,這使得擺脫先驗知識依賴的非參數化人臉重建方法,逐漸受到了大家的關注。但因為沒有可靠的先驗知識,該方法容易受到輸入圖像質量的影響。而根據光線與幾何間的相互作用推斷的方法,重建結果的好壞一般由人像再光照任務來評估,人像再光照通常會采用基于光場相機采集的數據學習方法和球諧光方法,但這兩種方法都面臨這一些挑戰,像前者會耗費大量的人力物力且泛化性差,后者則無法模擬真實世界的環境光照。
針對非參數化人臉重建易受輸入圖像質量影響的問題,騰訊優圖實驗室提出了一種基于開放圖像集合的非參數化人臉重建方法。該方法利用合成數據和課程學習,將圖像集合信息引入到訓練過程中,使得非參數化方法也能夠受限于ID一致性的約束,有效提升了人臉重建結果的細節和魯棒性。
而對于人像再識別方法存在的成本高、泛化性差且無法模擬真實世界的環境光照的難點,騰訊優圖又提出了一種基于物理本征學習的人像再光照方法,該方法首先對輸入的人臉圖像完成物理的本征分解,之后利用課程學習的,且基于可微分光線追蹤的優化方法,生成了一個大規模人臉本征數據庫,并利用神經網絡進一步提升了本征分解的真實度。通過該方法預測的人臉本征分量,能夠很好的模擬真實環境光線條件下不同的人像光照效果。
在本次專場中,振宇老師將對上面的兩種方法進行詳細分析,并就人臉3D重建的研究熱點和未來趨勢給出自己的見解。
振宇是騰訊優圖實驗室高級研究員,南京理工大學計算機視覺專業博士,2018-2019赴意大利特倫托大學公派訪問。他專注于3D視覺相關領域前沿研究,研究方向涉及人臉3D重建、場景3D重建與深度估計以及多任務與遷移學習等。同時振宇老師在CVPR、ECCV、ICCV、AAAI、TPAMI等頂會頂刊發表多篇文章,同時擔任AAAI、CVPR、TNNLS等多個會議及期刊審稿人。
本次專場包含主講和問答兩個部分,其中主講環節40分鐘,問答環節20分鐘。同時,我們還組建了技術交流群,并邀請振宇老師進群,歡迎大家申請!
主題
人臉3D重建前沿研究及熱點趨勢
提綱
1、人臉3D重建方法與發展現狀
2、基于開放圖像集合的非參數化人臉重建
3、模擬真實環境光線條件的人像再光照方法
4、研究熱點與趨勢分析
講師介紹
振宇,騰訊優圖實驗室高級研究員,南京理工大學計算機視覺專業博士,2018-2019赴意大利特倫托大學公派訪問;專注3D視覺相關領域前沿研究,研究方向涉及人臉3D重建、場景3D重建與深度估計以及多任務與遷移學習等;在CVPR、ECCV、ICCV、AAAI、TPAMI等頂會頂刊發表多篇文章,同時擔任AAAI、CVPR、TNNLS等多個會議及期刊審稿人。
課程信息
直播時間:12月15日19:00
直播地點:智東西公開課知識店鋪