智東西（公眾號：zhidxcom）
作者 | ZeR0
編輯 | 漠影

智東西9月30日報道，機器人學習大會（CoRL）于9月27日至10月2日在韓國首爾舉辦。昨日，英偉達在CoRL上宣布，開源物理引擎Newton現可通過NVIDIA Isaac Lab獲取，已發布測試版本，并推出用于機器人技能的開源推理視覺語言動作模型NVIDIA Isaac GR00T N1.6，以及全新AI基礎設施。

這些技術為開發者和研究人員提供了開源的機器人加速平臺，能夠加快迭代周期、統一測試標準、整合訓練與機器人端推理，并助力機器人安全可靠地將技能從仿真環境遷移到現實世界。

人形機器人是物理AI的下一個前沿領域，需要在不可預測的世界中進行推理，適應環境并安全行動。NVIDIA Omniverse與仿真技術副總裁Rev Lebaredian談道，通過最新升級，開發者可以擁有將機器人從研發階段帶入日常生活的三大核心工具，包括充當機器人“大腦”的Isaac GR00T，負責對機器人“身體”運作進行仿真的物理引擎Newton，以及作為機器人“訓練基地”的NVIDIA Omniverse。

一、開源物理引擎Newton，可對復雜機器人動作進行仿真

開源物理引擎Newton由英偉達、谷歌DeepMind、Disney Research聯合開發，基于NVIDIA Warp和OpenUSD框架構建，由Linux Foundation管理、GPU加速，現已開放使用，可助力科研人員及開發者打造功能更強大、適應性更強的機器人。

機器人在仿真環境中的學習速度更快、安全性更高，但人形機器人關節結構、平衡控制和動作模式非常復雜，現有物理引擎的性能已經難以滿足。

全球超過25萬機器人開發者亟需精準的物理仿真技術，以確保在仿真環境中教會機器人技能，同時安全可靠地遷移到現實世界。

借助Newton靈活的設計，以及兼容多種物理求解器的能力，開發者可對非常復雜的機器人動作進行仿真，例如在雪地或碎石路面行走、操控杯子和水果等，并能成功地將這些動作部署到現實場景中。

蘇黎世聯邦理工學院機器人系統實驗室、慕尼黑工業大學、北京大學等眾多知名高校，以及機器人技術公司光輪智能、仿真引擎公司Style3D，已經率先使用Newton。

二、開源模型Isaac?GR00T N1.6，提升機器人推理能力

全新NVIDIA Isaac GR00T開源基礎模型將為機器人賦予接近人類的推理能力，使其能夠拆解復雜指令，并借助已有知識與常識執行任務。

借助NVIDIA Isaac GR00T N1.6，人形機器人可以同時完成移動和物體操控動作，軀干和手臂擁有更大的活動自由度，能完成各種高難度任務，比如推開較重的房門。

NVIDIA Isaac GR00T N1.6即將在Hugging Face平臺上線。這一模型將集成英偉達專為物理AI打造的開源、可定制的推理視覺語言模型NVIDIA Cosmos Reason，以提升機器人推理能力。

為了在物理世界中執行類似人類的任務，人形機器人必須能夠理解模糊指令，并應對各種以前未見過的復雜情況。

作為機器人的“深度思考大腦”，Cosmos Reason能夠利用已有知識、常識和物理原理，將模糊的指令轉化為逐步執行的計劃，從而應對新場景并泛化到多種任務中去。

Cosmos Reason的下載量已超過100萬次，目前在Hugging Face的物理推理模型排行榜上位居榜首。該模型還能夠篩選和標注大量真實及合成數據，用于模型訓練。Cosmos Reason 1現已作為AI模型部署微服務NVIDIA NIM提供。

開發者還可以利用Hugging Face平臺上的開源NVIDIA物理AI數據集，對NVIDIA Isaac GR00T N系列模型進行后訓練。該數據集包含數千條合成及來自真實世界的軌跡數據，下載量已超過480萬次。

AeiROBOT、Franka Robotics、LG Electronics、光輪智能、Mentee Robotics、Neura Robotics、Solomon、Techman Robot、UCR等機器人制造商正評估采用Isaac GR00T N系列模型來打造通用機器人。

三、全新Cosmos世界基礎模型即將推出，能創建30秒視頻，模型大小縮至1/3.5

英偉達宣布了開源Cosmos世界基礎模型（WFM）的全新更新。該模型下載量已超過300萬次，開發者可通過文本、圖像和視頻提示，生成多樣化數據，從而大規模加速物理 AI 模型的訓練。

即將推出的Cosmos Predict 2.5將三款Cosmos世界基礎模型進行整合，集成為一個功能強大的模型，大幅降低了復雜度，節省開發時間并提高效率。

它支持更長時長的視頻生成（最長可創建30秒視頻），同時提供多視角攝像頭輸出，以實現更豐富的世界仿真效果，相比上一代模型，生成結果速度更快、質量更高，而模型大小僅為上一代模型的1/3.5。

該模型能夠根據真實的3D仿真場景和空間控制輸入，比如深度信息、分割數據、邊緣信息和高分辨率地圖等，生成逼真的合成數據。

借助全新的NVIDIA Cosmos世界基礎模型，開發者可生成多樣化數據，從而大規模加速物理AI模型的訓練。

四、訓練機器人抓取技能的新工作流，在仿真環境中評估機器人習得技能

教會機器人抓取物體是機器人領域最具挑戰性的任務之一。這不僅涉及機械臂的移動，還需要將抽象的指令轉化為精準的動作，機器人必須通過反復試錯才能掌握這項技能。

基于NVIDIA Omniverse構建的開發者預覽版NVIDIA Isaac Lab 2.3新增了靈巧抓取工作流。該工作流通過自動化課程體系，在虛擬環境中對擁有多手指的機器人和機械臂進行訓練，從簡單任務開始，逐步提升難度。

此工作流會調整重力、摩擦力、物體重量等參數，訓練機器人在不可預測的環境中也能掌握技能。

波士頓動力的Atlas機器人借助這一工作流學習抓取技能，其操控能力得到了顯著提升。

讓機器人掌握一項新技能（如拿起杯子或穿過房間）非常困難，在實體機器人上測試這些技能不僅耗時且成本高昂。

仿真技術為解決這一問題提供了途徑，它能夠在無數場景、任務和環境中測試機器人習得的技能。但即便在仿真環境中，開發者構建的測試場景往往零散且簡單化，無法真實反映現實世界的復雜情況。在完美且簡單的仿真環境中學會導航的機器人，一旦面臨現實世界的復雜狀況就會失敗。

為了讓開發者無需從零構建系統，即可在仿真環境中開展復雜、大規模的評估，英偉達與光輪智能聯合開發了NVIDIA Isaac Lab Arena。這是一個用于大規模實驗和標準化測試的開源策略評估框架，該框架即將推出。

五、全新NVIDIA AI基礎設施，Meta宇樹DeepMind已采用

為了讓開發者充分利用這些先進的技術和軟件庫，英偉達推出了專為高要求工作負載設計的AI基礎設施，包括：

（1）NVIDIA GB200 NVL72：一款集成了36個英偉達Grace CPU和72個英偉達Blackwell GPU的機架式系統。各大云服務提供商已開始采用該系統，以加速AI訓練和推理過程，包括復雜推理和物理AI任務。

（2）NVIDIA RTX PRO服務器：為機器人開發的各類工作負載（包括訓練、合成數據生成、機器人學習和仿真）提供統一架構。RAI Institute已采用RTX PRO服務器。

（3）NVIDIA Jetson Thor：搭載Blackwell GPU，能夠支持機器人運行多個AI工作流，實現實時智能交互，帶來機器人端實時推理功能，這對于高性能物理AI工作負載以及人形機器人等應用具有重要意義。Figure AI、銀河通用、Google DeepMind、Mentee Robotics、Meta、Skild AI、宇樹科技等合作伙伴已采用Jetson Thor。

結語：近半數CoRL論文引用英偉達相關技術，英偉達推進機器人研究進程火力全開

CoRL收錄的論文中，近半數引用了英偉達的相關技術，包括GPU、仿真框架、CUDA加速庫等。這些技術已被卡內基梅隆大學、華盛頓大學、蘇黎世聯邦理工學院和新加坡國立大學等領先研究實驗室及機構廣泛采用。

此次CoRL還重點展示了斯坦福視覺與學習實驗室開展的機器人學習基準測試項目BEHAVIOR，以及由北京大學開發的用于推進基于視覺的觸覺機器人研究的高性能仿真平臺Taccel。

Agility Robotics、Boston Dynamics、Disney Research、Figure AI、Franka Robotics、Hexagon、Skild AI、Solomon以及Techman Robot等知名機器人公司已經采用NVIDIA Isaac和Omniverse技術。

來自斯坦福大學、蘇黎世聯邦理工學院、新加坡國立大學等頂尖高校的全球科研人員，正借助 英偉達的加速計算技術及軟件推進機器人研究工作。