機器人前瞻(公眾號:robot_pro)
作者?|??許麗思
編輯?|??漠影

機器人前瞻2月27日報道,今天,Figure AI發布了一段視頻,宣布將上周推出的VLM模型應用到Figure 02人形機器人上并讓它進物流工廠分揀快遞,部署這項工作花了30天。

Figure 02上一份打工經歷還是在寶馬工廠負責汽車裝配,當時安排好這份工作花了12個月。

上周日,Figure已經在客戶現場驗證了讓機器人在快遞流水線上負責分揀的整套流程的可行性。視頻中可以看到,一整排機器人可以比較流暢地抓取、擺放快速,雖然速度看起來比起人類分揀還差了一些。

30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹

通過頭部戴在的攝像頭,機器人可以識別快遞上的條碼,對于不小心漏揀的快遞,也可以進行自我校正。

30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹 30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹

據Figure介紹,研發團隊還對Helix的系統1(S1),即低級視覺運動控制策略)做了一系列改進:

30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹

1、視覺表征優化

此前系統1采用單目視覺輸入,新版系統通過立體視覺主干網絡結合多尺度特征提取網絡,構建豐富的空間層次表征與之前每個攝像頭獨立輸入圖像特征標記不同,Figure在特征標記化前通過多尺度立體網絡融合雙攝像頭信息,既保持輸入交叉注意力變換器的視覺標記總量恒定,又避免計算資源浪費。

多尺度特征使系統既能解析微觀細節,又能把握整體場景,共同提升視覺控制的可靠性。
30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹

2、跨機器人遷移

在多臺機器人上部署單一策略,需要解決由于單個機器人硬件細微差異導致的觀測和動作空間中的分布變化問題。這些差異包括傳感器校準差異(影響輸入觀測)和關節響應特性(影響動作執行),如果不進行適當補償,可能會影響策略性能。

特別是在高維度的整個上半身動作空間中,傳統人工校準方式難以規模化應用。因此,Figure訓練了一個視覺本體感受模型,僅通過每臺機器人的機載視覺輸入來估計末端執行器的六維姿態。這種在線“自我校準”功能,能夠在停機時間最短的情況下,實現跨機器人策略的高效遷移。

3、數據優化

在數據層面,Figure重點篩選人類示范數據,剔除低效、失誤或失敗的案例。但刻意保留了包含自然修正動作的示范——當修正行為源于環境隨機性而非操作失誤時。通過與遠程操作員密切配合,優化并統一操作策略,也取得了顯著效果提升。

4、推理時操作加速

為追趕并最終超越人類操作速度,Figure采用了簡單高效的測試階段加速技術:對策略動作塊輸出進行插值(命名為“運動模式”)。系統1輸出的動作塊,代表了一系列以200赫茲頻率執行的機器人動作。在實際應用中,可以在不修改訓練過程的情況下,通過對一個維度為[Tx動作維度]的動作塊(代表一個持續T毫秒的軌跡)進行線性重采樣,將其變為更短的[0.8*Tx 動作維度]軌跡,然后以原來的200赫茲控制速率執行這個更短的動作塊,從而實現測試時20%的加速。

Figure發現,系統1的改進,帶來了的效果非常顯著:

  • 對不同尺寸包裹的魯棒性提升:多尺度特征提取和隱性立體視覺輸入都顯著提高了系統性能,特別是添加立體視覺后,立體視覺模型的吞吐量比非立體視覺提高了60%。配備立體視覺的系統1能夠推廣應用到系統從未訓練過的扁平包裹上。
    30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹?30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹
  • 數據質量優于數量:同對于單個場景而言,數據質量和一致性遠比數據數量重要。使用經過精心整理的高質量演示數據訓練的模型,盡管訓練數據量減少了三分之一,但其吞吐量卻提高了40%。
  • 運動模式在提速50%時效果最好:通過線性重采樣(“運動模式”)來加速策略執行,在提速高達50%的情況下效果驚艷,系統1的有效吞吐量高于演示數據。不過,然而,當提速超過50%時,由于動作變得過于不精確,系統需要頻繁重置,有效吞吐量開始大幅下降。
    30天速成上崗,Figure機器人干起了物流分揀,零樣本處理扁平包裹
  • 有效實現了跨機器人遷移:通過利用學習到的校準和視覺本體感受模塊,Figure能夠將最初在單個機器人數據上訓練的同一策略應用到多臺其他機器人上。盡管傳感器校準存在差異且硬件有細微不同,但該系統在所有平臺上都保持了相當的操控性能水平。這種一致性突顯了學習校準在減輕協變量偏移方面的有效性,有效減少了對每臺機器人進行繁瑣重新校準的需求,使大規模部署更具可行性。

Figure還發布了Helix團隊擴充的信息,提到準備招募大模型訓練、操控工程師、大模型評估、強化學習等崗位的人才。

從Figure這次發布的成果來看,雖然人形機器人分揀快遞看起來效率不是特別高、不如人工分或機械臂分揀,成本效益上好像不盡如人意。

但是人形機器人展現出強大的場景適應性和跨設備遷移能力,當教會人形機器人上崗工作的時間從12個月縮短到1個月,未來或許會縮短到1星期、1天,人形機器人走向物理世界的速度不斷提升,多場景的大規模部署應用也有了更大的可能性。