2024年已行進尾聲，但對于生成式AI而言，這又是波瀾壯闊的一年。Sora掀起視頻生成熱潮，多模態世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，帶來的思維鏈CoT+強化學習這一新范式，正推動生成式AI邁入新的階段。
大語言模型仍在狂飆，但價格戰、營銷戰硝煙燃起，融資熱度正在降溫。不過行業賦能持續進行，應用層的興起更加受到期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機、AI PC等AI硬件紛紛站上風口。GPT-4o的出現，將輕量化模型和端側大模型推向新高度之余，端側設備的交互革新也有了前進方向。不止AI硬件，大模型驅動下的具身智能更是熱度空前，人形機器人正開啟星辰大海。
作為支撐大模型運行以及生成式AI應用開發的關鍵，AI Infra走到了臺前，從智算集群到基礎軟件，發展勢頭強勁，但挑戰不少。
在上述背景下，2024中國生成式AI大會（上海站）「GenAICon 2024」將于12月5-6日在上海中星鉑爾曼大酒店盛大舉辦。中國生成式AI大會已成功舉辦兩屆，迅速成長為國內生成式AI領域最具影響力的產業峰會之一。
此次也是中國生成式AI大會首次登陸上海舉辦。大會由智一科技旗下智能產業第一媒體智東西、AI與硬科技知識分享社區智猩猩共同發起主辦。上海市人工智能行業協會為大會的指導單位。
大會上海站以“智能躍進 創造無限”為主題，50+位嘉賓將帶來致辭、演講、報告和對話討論，基于前瞻性視角解構和把脈生成式AI的技術產品創新、商業落地解法、未來趨勢走向與前沿研究焦點。
上海站由“主會場峰會+分會場研討會+展覽區”組成。主會場將進行大模型峰會、AI Infra峰會，分會場將進行端側生成式AI技術研討會、AI視頻生成技術研討會和具身智能技術研討會。展覽區則緊鄰會場門口設置，14家企業將進行技術產品展示。
作為大會上海站的三場技術研討會之一，具身智能技術研討會將在第二日下午的分會場進行，由主題報告和圓桌Panel兩個環節組成。
一、研討會完整議程公布
目前，具身智能技術研討會邀請到上海人工智能實驗室青年科學家王泰，上海科技大學信息科學與技術學院助理教授、博士生導師顧家遠，上海交通大學在讀博士、穹徹智能實習研究員呂峻，國地共建具身智能機器人創新中心數據智能負責人李廣宇，哈爾濱工業大學計算學部在讀博士王雪松，中國科學院空天信息創新研究院特別研究助理姚方龍6位青年學者和技術專家帶來報告。
近年來，具身智能在大模型、強化學習等技術的推動下快速發展，但還面臨著數據匱乏的核心問題，大規模訓練和評測仍存在客觀瓶頸。上海人工智能實驗室青年科學家王泰將圍繞《大規模具身多模態三維感知》這一主題帶來報告。報告聚焦于三維場景中具身多模態感知相關的具體任務，詳細介紹利用多模態大模型的生成能力設計三維多模態數據的自動化標注管線，構建帶有顯式三維建模和空間感知能力的具身感知基礎模型，并最終利用大模型實現更符合人類判斷的自動化評測。
在具身智能領域，通用機器人決策模型的開發取得了顯著進展，但收集真實世界的訓練數據，和在真實環境下對這些模型評估仍需高昂的成本。仿真技術提供了一種可行的替代方案，但其有效性高度依賴多樣且逼真的數字資產。上海科技大學信息科學與技術學院助理教授、博士生導師顧家遠將帶來主題為《服務于具身智能的仿真評估平臺和數字資產》的報告，詳解專為評估基于真實世界數據訓練的決策模型而開發的仿真環境平臺SimplerEnv，和用于理解物體功能性部件的3D原生工具Point-SAM。
如何利用來自不同信息源的數據共同實現具身操作技巧開發，降低對真實機器人數據的依賴與成本已成為領域內的關注重點。上海交通大學在讀博士、穹徹智能實習研究員呂峻將以《Real2Sim2Real：一種基于多信息源的具身操作技能開發系統》為主題，解讀包含Real2Sim、Learn@Sim、Sim2Real模塊在內的具身智能系統，旨在通過各類感知技術對現實物理世界進行建模，在仿真環境中學習開發特定的機器人操作技巧，并將仿真中學習到的技能遷移到真實環境中。
數據稀缺是目前困擾具身操作研究的共識。國地共建具身智能機器人創新中心數據智能負責人李廣宇將分享具身智能國創中心在數據方面的進展，包括數據采集和訓練基地建設情況、數據集開源開放情況，以及圍繞數據融合方向的探索和嘗試，主題為《數據視角下的具身操作》。
哈爾濱工業大學計算學部在讀博士王雪松將以《具身智能大模型研究的關鍵問題與展望》為主題帶來報告。報告將從大模型技術和人形機器人技術是如何推動具身智能發展的角度進行切入，闡述當前大模型技術在解決具身智能問題時的諸多不足，詳解具身智能大模型在感知、規劃、導航、和機器人操控方面待研究的關鍵問題，同時也將對具身智能未來發展做出展望。
空間智能與具身智能兩者既有區別又相互補充。中國科學院空天信息創新研究院特別研究助理姚方龍以《萬物具身：耦合空間智能與具身智能的復空間具身體系》為主題帶來報告。該報告旨在嘗試聯結空間智能與具身智能，構思出“萬物具身”這一概念，設計了復空間具身體系計算范式，探索了“超圖+空天世界模擬器+空天世界模型”的研究路線，推動從單體智能向空天地海任務、環境、場景耦合的體系智能演進。
主題報告環節結束后的圓桌Panel，將由上海人工智能實驗室青年科學家王泰，上海科技大學信息科學與技術學院助理教授、博士生導師顧家遠，上海交通大學在讀博士、穹徹智能實習研究員呂峻，國地共建具身智能機器人創新中心數據智能負責人李廣宇、哈爾濱工業大學計算學部在讀博士王雪松以及中國科學院空天信息創新研究院特別研究助理姚方龍一起帶來。
二、報告嘉賓及內容介紹
1、上海人工智能實驗室青年科學家 王泰
王泰博士畢業于香港中文大學MMLab，研究方向為具身智能和三維視覺。過往工作有近三十篇論文在頂級會議和期刊上發表，谷歌學術引用 2900 余次，多篇被選中做口頭報告或獲得滿分評審，并多次在國際頂級競賽中獲得冠軍。代表工作包括早期 FCOS3D 系列工作和近期 EmbodiedScan, GRUtopia 和 PointLLM 等，相關開源工作如 MMDetection3D 在學界和業界有廣泛影響。曾獲得 ECCV 最佳論文提名、ICCV 研討會最佳論文、港府獎學金。
報告主題：《大規模具身多模態三維感知》
內容概要：近年來，大模型的成功以及模仿學習、強化學習等方法的突破持續推動著具身智能的快速發展。但這一領域仍然面臨著數據匱乏的核心問題，大規模訓練和評測仍存在客觀瓶頸。生成式 AI 的進展為解決這一問題提供了重要路徑。
本報告將聚焦于三維場景中具身多模態感知相關的具體任務，詳細介紹團隊利用多模態大模型的生成能力設計三維多模態數據的自動化標注管線，從而形成大規模三維物體、場景在不同粒度全方位的語料標注，構建帶有顯式三維建模和空間感知能力的具身感知基礎模型，并最終利用大模型實現更符合人類判斷的自動化評測。最后，報告將展望生成式 AI 在機器人交互數據方面的巨大潛力，同時探討其潛在的局限性。
2、上海科技大學信息科學與技術學院助理教授、博士生導師 顧家遠
報告主題：《服務于具身智能的仿真評估平臺和數字資產》
內容概要：在具身智能領域，通用機器人決策模型的開發取得了顯著進展。然而，收集真實世界的訓練數據和對這些模型進行真實環境下的評估仍然成本高昂。仿真技術提供了一種可行的替代方案，但其有效性高度依賴于多樣且逼真的數字資產。傳統上，這些資產主要由游戲產業創建，但隨著具身智能的發展，對高質量數字資產的需求激增，以提高仿真環境的多樣性和逼真度。這引發了一系列關鍵問題：這些資產的真實程度應達到何種水平？我們如何有效地創建這些仿真環境？在此過程中，哪些工具是必不可少的？
在本次報告中，我將介紹最近的工作SimplerEnv，一個專為評估基于真實世界數據訓練的決策模型而開發的仿真環境平臺。該平臺支持對多種通用機器人操作模型的評估，如RT-1和Octo。此外，我還將討論另一個研究成果Point-SAM，一個3D原生工具，能夠對三維部件和物體進行交互式分割。理解物體的功能性部件對具身智能的研究至關重要，這一工具為此提供了重要支持。
3、上海交通大學在讀博士、穹徹智能實習研究員 呂峻
呂峻博士就讀于上海交通大學，師從盧策吾教授，入選上海交通大學吳文俊人工智能榮譽博士班，目前是穹徹智能實習研究員。研究方向為具身智能，曾在IJRR、RSS、CoRL、ICRA、CVPR等具身智能頂級期刊與學術會議發表論文，曾以第一作者身份獲得2023年RSS最佳系統論文獎提名。
報告主題：《Real2Sim2Real：一種基于多信息源的具身操作技能開發系統》
內容概要：數據是具身智能在今天面臨的核心問題之一。如何利用來自不同信息源的數據，例如仿真數據、人類演示數據、靜態視覺數據等，構建數據金字塔，共同實現具身操作技巧開發，降低對真實機器人數據的依賴與數據成本成為值得關注的課題。過去幾年，我們構建了包含Real2Sim、Learn@Sim、Sim2Real模塊的具身智能系統，旨在通過各類感知技術對現實物理世界進行建模，基于建模在人類演示數據、自然語言提示詞等的指導下于仿真環境中學習開發特定的機器人操作技巧，并將仿真中學習到技能遷移到真實環境中。相關成果發表在IJRR、RSS、CoRL、ICRA等期刊與會議上，曾獲選RSS 2023 Best System Finalist。
4、國地共建具身智能機器人創新中心數據智能負責人 李廣宇
李廣宇，國地共建具身智能機器人創新中心數據智能負責人，美國南加州大學電子工程系博士，具身智能和自動駕駛行業從業多年，主導構建了多家企業的數據驅動系統，包括滴滴出行多模態駕駛數據挖掘系統，覆蓋滴滴百萬量級網約車數據，輕舟智航數據驅動系統，支持超40萬臺乘用車，日均超百萬公里的智能駕駛，以及國地共建具身智能創新中心數據閉環鏈路，并率先將多頭注意力機制引入多智能體學習領域，大幅提升了數據驅動效率。
報告主題：《數據視角下的具身操作》
內容概要：數據稀缺是目前困擾具身操作研究的共識。從各種機器人整機、機械臂、靈巧手等本體廠家紛紛推出的遙操作采集系統，到以UMI為代表的低成本采集設備，再到各類人類操作動作捕捉方案，以及各種仿真數據合成方法。如何高效的獲取具身操作數據，已經成為學術界和產業界的研究重點。
另一方面，針對不同途徑獲取的數據，具身數據金字塔的概念已經廣為傳播：下層是數據量大、獲取成本低，但單位價值較低的互聯網數據和仿真合成數據；頂層是采集成本昂貴，單位價值高的真機遙操作數據；而中間層是介于真機遙操作和仿真合成之間的，人類動作捕捉數據和仿真遙操作數據。同時當前的機器人數據中，本體構型豐富多樣，傳感器配置各異。如何有效融合多種來源，多種本體的具身數據，也是研究者和工程師的關注點。
本次報告中，我將梳理具身數據方向的各種技術路線，并介紹具身智能國創中心在數據方面的進展，包括數據采集和訓練基地建設情況、數據集開源開放情況，以及一些圍繞數據融合方向的探索和嘗試。
5、哈爾濱工業大學計算學部在讀博士 王雪松
王雪松，哈爾濱工業大學計算學部在讀博士研究生，師從劉挺教授、張偉男教授。曾擔任中國中文信息學會青工委學生執委，研究方向為多模態大模型和具身智能，參與研發哈工大“活字”大模型，帶頭研發了哈工大展廳服務機器人等。
報告主題：《具身智能大模型研究的關鍵問題與展望》
內容概要：隨著深度學習、大模型技術的突破性進展，人工智能的發展從感知智能和認知智能，逐步向能夠與真實物理環境進行交互的具身智能階段發展，并在大模型在多種任務上的強大泛化能力和人形機器人對于人類社會場景的適應能力的基礎上，有望通過具身智能的發展，最終實現通用人工智能。不過，具身智能為我們帶來希望的同時，也更多的帶來了挑戰，機器人如何感知世界、理解世界？如何擁有對自己行為的認知？如何高效合理的運動？等等。
本次報告將從大模型技術和人形機器人技術是如何推動具身智能發展的角度進行切入，闡述當前大模型技術在解決具身智能問題時的諸多不足，進而詳解具身智能大模型在感知、規劃、導航、乃至機器人操控方面有哪些亟待研究的關鍵問題，同時也將對未來具身智能如何更好發展做出展望。
6、中國科學院空天信息創新研究院特別研究助理 姚方龍
姚方龍于中國科學院空天信息創新研究院直博（導師孫顯研究員），畢業留院工作任目標重點實驗室特別研究助理（合作導師付琨研究員），負責具身智能與空間智能研究方向，并在科技部（中央科技辦）借調工作。在Nature Communications、IEEE TPAMI、IEEE TNNLS、IEEE TGRS等期刊發表論文20篇（其中頂刊/頂會18篇，第一/通訊作者13篇，IF＞10有6篇），授權專利12項，擔任國際期刊Innovations in Aerospace Science and Technology、Journal of Artificial Intelligence and Robotics編委，Advanced Tech. in Neuroscience、Intelligence&Robotics、SmartBot青年編委， IEEE TGRS、IEEE TII、Information Fusion等頂刊審稿專家，以副主編身份參編“十四五”教材2本。主持國家自然科學基金青年項目，牽頭研制遙感時空預測大模型-靈眸·Sense、空天世界模擬器-空天·萬界、空天具身世界模型，參與制作全球規模最大遙感細粒度數據集。獲中國科學院院長優秀獎和指揮與控制學會科技進步一等獎。
報告主題：《萬物具身：耦合空間智能與具身智能的復空間具身體系》
內容概要：空間智能旨在開發理解三維物理世界的模型，模擬物體物理特性、空間位置和功能，具身智能通過賦予智能“身體”，與環境交互反饋中實現智能增長和環境自適應，二者既有區別又相互補充。本報告旨在嘗試聯結空間智能與具身智能，構思出“萬物具身（Embodiment-of-Objects）”概念，設計了復空間具身體系（Multiverse Embodied System）計算范式，探索了“超圖+空天世界模擬器+空天世界模型”的研究路線，初步形成思維超圖引導的智能體世界模型、異質超圖引導的智能體關聯導航、時空超圖引導的智能體預測規劃等關鍵技術，推動從單體智能向空天地海任務、環境、場景耦合的體系智能演進。
三、中國生成式AI大會上海站日程
四、報名進入最后階段，立即搶票參加研討會
具身智能技術研討會是2024中國生成式AI大會上海站的三場研討會之一，將在分會場第二日下午進行。另外兩場研討會分別是端側生成式AI技術研討會、AI視頻生成技術研討會。
研討會主要面向大會購票用戶及定向邀請的用戶開放。
希望到現場參加研討會的朋友，可以掃描下方二維碼，添加小助手“泡泡”進行咨詢。已添加過“泡泡”的老朋友，給“泡泡”私信，發送“GenAI24”即可。
