智東西（公眾號：zhidxcom）
作者 | ?ZeR0
編輯 | ?漠影

智東西7月30日報道，在國際頂級計算機圖形學會議SIGGRAPH 2024上，NVIDIA今日發布了通用場景描述（OpenUSD）的重大成果，以擴大其在機器人、工業設計和工程領域的應用，有助于幫助開發者提高構建高精度虛擬世界的能力，這對AI后續發展很是重要。

今天NVIDIA新發布的內容包括適用于AI模型的NVIDIA NIM微服務，可生成回答用戶查詢的OpenUSD語言、生成OpenUSD Python代碼、將材質應用于3D物體、理解3D空間和物理學以幫助加快數字孿生的開發等。全球首個用于OpenUSD開發的生成式AI模型將以NVIDIA NIM微服務的形式提供。

其他還包括可用于機器人和工業仿真數據格式的全新USD連接器，以及各種開發者工具，用戶可通過它們將海量NVIDIA RTX全光線追蹤數據集傳輸到蘋果Vision Pro。

通過基于OpenUSD的全新生成式AI，以及在NVIDIA Omniverse平臺構建的NVIDIA加速的開發框架，越來越多的行業現在能夠開發出用于可視化工業設計和工程項目的應用，以及用于構建新一代物理AI和機器人的環境仿真的應用。

一、新NIM微服務：將生成式AI應用于USD

OpenUSD是一個通用3D數據交換框架。NVIDIA去年與皮克斯、Adobe、蘋果、Autodesk共同創立了OpenUSD聯盟，并通過該聯盟與其他伙伴一起發布了 OpenUSD的新版本、OpenUSD核心規范的進展以及新成員的加入情況。

NVIDIA開發的全球首個用于OpenUSD開發的生成式AI模型將以NVIDIA NIM微服務的形式提供。這些模型使得開發者能將生成式AI copilot和agents整合到USD工作流中，拓寬3D世界的可能性，幫助加快USD在制造業、汽車行業和機器人等新工業領域的應用。

預覽版中的微服務包括：

  • USD Code NIM微服務：回答常識性OpenUSD問題，并基于文本提示自動生成 OpenUSD-Python代碼，然后將其輸入到OpenUSD查看應用程序（例如皮克斯的USDView）或基于NVIDIA Omniverse Kit的應用，以實現相應3D數據的可視化。
  • USD Search NIM微服務：使開發者能夠使用自然語言或圖像輸入，在海量OpenUSD、3D和圖像數據庫中進行搜索。
  • USD Validate NIM微服務：檢查上傳文件與OpenUSD發布版本的兼容性，并生成完全由NVIDIA Omniverse Cloud API（應用編程接口）驅動的RTX渲染路徑追蹤圖像。

即將提供的新微服務包括：

  • USD Layout NIM微服務：使用戶能夠基于空間智能，根據一系列文本提示組裝出基于OpenUSD的場景。
  • USD SmartMaterial NIM微服務：預測并將逼真的材料應用于計算機輔助設計對象。
  • fVDB Mesh Generation NIM微服務：根據點云數據生成基于OpenUSD的網絡，并通過 Omniverse Cloud API進行渲染。
  • fVDB Physics Super-Res NIM微服務：對幀或幀序列執行AI超分辨率 ，生成基于OpenUSD的高分辨率物理仿真。
  • fVDB NeRF-XL NIM微服務：使用Omniverse Cloud API在OpenUSD中生成大規模神經輻射場。

全球制造業巨頭富士康受益于NVIDIA的計算平臺，利用NIM 微服務和Omniverse為一家正在開發中的工廠創建了數字孿生。

全球領先的營銷與傳播服務公司WPP是USD Search和USD Code NIM微服務的早期用戶之一，將這些微服務用于其基于NVIDIA Omniverse構建的生成式AI內容創建管線中，為可口可樂公司等客戶提供服務。

富士康首席數字官兼智能制造平臺負責人史喆認為，NVIDIA Omniverse和全新的NIM微服務將使數字孿生的開發變得更加普及，并幫助富士康的團隊以前所未有的速度構建基于物理的虛擬工廠。

二、新USD連接器：加速數據無縫導入，助攻機器人開發

除了微服務外，NVIDIA還推出了多款適用于機器人數據格式和蘋果Vision Pro流式傳輸的全新USD連接器。這些連接器將為更多行業帶來OpenUSD互操作性與高級創作能力。

NVIDIA與工業巨頭西門子正在擴大合作，將把OpenUSD流水線與西門子Simcenter仿真技術組合集成，以支持基于證據的決策和關鍵利益相關方之間的協作，實現復雜仿真數據的高保真、實時、逼真可視化，讓企業能夠更加深入地了解產品在實際操作環境中的性能。西門子將把Omniverse納入到其Teamcenter產品生命周期管理軟件組合中，為這項工作打好基礎。

NVIDIA還發布了一個從統一機器人描述格式到OpenUSD的連接器，以便機器人專家能夠將他們的機器人數據無縫導入到用于設計、仿真和強化學習等用途的各種應用中。

為了推動OpenUSD生態系統的擴張，NVIDIA發布了OpenUSD Exchange軟件開發套件，幫助開發者創建出自己的強大OpenUSD數據連接器。

新的開發者工具和API可通過NVIDIA Graphics Delivery Network（GDN），將大規模OpenUSD場景從基于Omniverse平臺構建的應用流式傳輸到 。目前，這些新工具和API提供搶先體驗版本。

NVIDIA API目錄現在提供USD Search、USD Code和USD Validate NIM微服務的預覽版。OpenUSD – URDF連接器與NVIDIA Isaac Sim一起提供。

開發者可使用全新Omniverse開發者工具和參考工作流，將生成式AI集成到OpenUSD工作流中，使用OpenUSD構建生成式AI賦能的合成數據管線。

結語：重工業的生成式AI潮已經到來

“重工業的生成式AI潮已經到來。”NVIDIA Omniverse與仿真技術副總裁Rev Lebaredian說，“直到最近，數字世界的主要用戶還是創意行業；而現在，借助NVIDIA NIM微服務為OpenUSD帶來的增強功能和可訪問性，各個行業都可以創建基于物理學的虛擬世界和數字孿生，在加快創新的同時，為機器人這次新一輪AI技術熱潮做好準備。”

NVIDIA不僅在AI領域持續領先，也是推動工業元宇宙發展的積極貢獻者。今日的新發布則是NVIDIA為改變3D內容創作和交互方式所提供的新利器，也反映了這家計算巨頭為推動USD發展所做出的最新努力。

數字孿生將為加速新一波工業制造和自主機器的發展提供助力。生成式AI模型則有望提供更高效、更準確的模擬，進而提高工業應用的性能和可靠性。在工業數字化和內容創作領域，越來越多的企業開始利用OpenUSD和生成式AI技術來突破工業元宇宙、數字孿生、3D內容創作等解決方案的邊界。隨著NVIDIA持續推出更多好用的NIM微服務和USD連接器，該公司將在這股浪潮中處于有利地位。