智東西（公眾號：zhidxcom）
作者 | 夏舍予
編輯 | 徐珊
智東西8月23日消息，根據外媒Tech Xplore報道，加州大學伯克利分校的研究人員開發了一種分層強化學習框架（a hierarchical reinforcement learning framework ），該框架可以提高四足機器人足球射門的精準度。目前中國機器人初創企業宇樹科技的機器狗Unitree A1已經應用了該技術。
李中宇（音譯）是該項目的研究人員之一，他說：“四足機器人是仿造人類的腿建造的，人類的腿不僅可以運動，還能踢足球。我們希望四足機器人也能獲得踢足球的能力”
一、先跟蹤，后規劃，分層框架能讓機器狗精準射門
近年來，技術的進步為機器人帶來了更可靠的硬件和更先進的控制算法。因此，現在機器人有可能處理更加復雜的任務，例如與人類一起踢足球。李忠宇和他的團隊開發的分層強化學習框架可以提高四足機器人足球射門的精準度。
分層強化學習框架由兩個部分組成：運動控制策略（a motion control policy）和運動規劃策略（a motion planning policy）。前者能夠跟蹤機器人腿部的任意運動軌跡，后者能夠在這些軌跡中選擇一個最佳的路線，進而讓機器人把足球踢進目標位置。
▲記錄機器狗的不同運動軌跡
李忠宇說：“為了讓訓練結果更接近真實情況，我們會用真實世界的數據訓練機器人。”
在訓練過程中，李忠宇及其團隊發現，雖然分層強化學習框架可以讓機器人精準地把足球射向任意目標，但這個任務非常復雜，因為機器人必須在保持平衡的情況下，擺動它的腿來獲取動力。
二、變形和摩擦，機器人足球技術兩大挑戰
但這其中存在另一個問題：足球會變形。李忠宇說：“機器人不僅要處理腿與可變形足球之間難以建模的軟接觸（soft contact）情況，還要處理球與地面之間滾動摩擦的不確定性。而我們開發的分層強化學習框架或許可以幫助四足機器人處理腿與軟物體（球、繩子、皮帶、衣服等）之間的互動任務。”
▲機器狗正在進行射門測試
機器人界有一個著名的足球賽，叫做“機器人世界杯”（Robot World Cup），幾十年來，比賽主辦方一直邀請研究人員帶著機器人參與足球比賽。
李忠宇說：“未來，我們將繼續設計其他分層框架及機器學習模型。我們的終極目標是希望開發出一種可以與人類進行足球比賽的四足機器人。”
結語：傳球基礎上再射門，機器狗足球技術逐步提升
其實，機器狗能踢足球，已經不是一件新鮮事。2019年，麻省理工學院的仿生機器人實驗室就研發出了名為迷你獵豹（Mini Cheetah）的機器狗，迷你獵豹就已經實現了傳球功能。
但是，機器狗Unitree A1部署的分層強化學習框架能讓機器狗在傳球的基礎上，提升足球射門的精度。這意味著，機器狗在足球方向的技術又有了新的提升。
或許，在不久的未來，我們真的能夠看到四足機器人與人類同臺競技的場面，讓我們拭目以待吧。
來源：Tech Xplore
