「智猩猩AI新青年講座」由智猩猩出品，致力于邀請青年學者，主講他們在生成式AI、LLM、AI Agent、CV等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。
在生成建模技術進步的推動下，三維生成建模領域取得了顯著的成果。但是現行的兩大類3D表示方法主要存在兩個問題：（1）基于擬合能力不足的隱式解碼器；（2）缺乏清晰定義的空間結構難以與主流的3D擴散技術融合。
針對以上問題，來自中科大、清華和微軟亞洲研究院的研究人員提出了一種具有強大擬合能力的顯式結構化三維表示GaussianCube，并且可以無縫應用于目前主流的3D擴散模型中。相關論文為《GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling》。
GaussianCube的框架包括兩個主要階段，如下圖所示：表示構建和擴散建模。
在表示構建階段，首先對每個對象應用密度約束的3DGS擬合算法，以對3D資產進行高精度擬合，獲得固定數量的自由高斯。然后，利用在高斯點和預定義體素網格中心之間的最優傳輸算法，將這些高斯點組織到所提出的空間結構化的高斯立方體中，結構化為 GaussianCube。
對于擴散建模，由于GaussianCube 具備在空間上的結構化組織關系、無需復雜的網絡或訓練設計的優勢，標準的3D卷積足以有效地提取和聚合鄰近高斯的特征。因此，使用三維擴散模型來建模 GaussianCube的分布，利用標準的U-Net網絡進行擴散，并直接將原始的2D操作符（包括卷積、注意力、上采樣和下采樣）替換為相應的3D操作。
實驗結果表明，GaussianCube相較之前的基線算法實現了大幅度的性能提升。不僅能夠生成高質量的3D資產，而且還提供了極具吸引力的視覺效果，充分證明了其作為3D生成通用表示的巨大潛力。
7月25日10點，智猩猩邀請到論文一作、中國科學技術大學與微軟亞洲研究院聯合培養博士張博文參與「智猩猩AI新青年講座」245講，主講《結構化3DGS為高質量3D生成帶來新思路》。
講者
張博文
中國科學技術大學與微軟亞洲研究院聯合培養博士
目前主要研究方向為高質量生成模型，包括2D圖像生成和3D數字資產生成等。曾在國際頂級會議上以第一作者的身份發表數篇論文，GitHub 開源項目星標超1000，同時擔任?CVPR、ICCV、ECCV 等頂級會議審稿人。
第245講
主 題
結構化3DGS為高質量3D生成帶來新思路
提 綱
1、主流三維表示方法及在3D生成中的局限
2、利用密度約束高斯擬合和最優傳輸算法構建GaussianCube
3、基于GaussianCube的3D擴散模型
4、GaussianCube生成結果展示以及未來展望
直播信息
直播時間：7月25日10:00
直播地點：智猩猩GenAI視頻號
成果
論文標題
《GaussianCube: A Structured and Explicit Radiance Representation for 3D?Generative Modeling》
論文鏈接
//arxiv.org/pdf/2403.19655
項目網站
//gaussiancube.github.io/
同時，本次講座也組建了學習交流群。加入學習交流群，除了可以觀看直播，并提前拿到課件（限可以對外的課件）外，你還能結識更多算法研究人員，所提問題也會被講者優先回答。
