「AI新青年講座」將邀請世界頂尖AI研究機構和大學的科研新青年，主講他們在計算機視覺、機器學習等人工智能領域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進對人工智能前沿研究的理解，相應領域的專業知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學習和應用AI的過程中遇到的問題，也能夠盡快解決。
「AI新青年講座」目前已完結210講，有興趣分享學術成果的朋友，可以與智東西公開課教研團隊進行郵件（class@jmfly.net）聯系。
機器人的自主探索具有許多重要的應用。然而，基于信息增益或邊界的經典探索方法僅依靠機器人的當前狀態確定即時的探索目標，缺乏預測未來狀態價值的能力，從而導致探索決策效率低下。
最近幾年隨著離線強化學習算法的興起，相關算法也被應用在機器人控制，規劃以及決策等領域。離線強化學習由于其安全性，數據可復用性，以及預訓練的便捷性，使得其在機器人領域擁有巨大前景。隨著基礎模型在視覺和語言領域的成功，離線強化學習也成為機器人控制基礎模型的潛在解決方案。
針對此類問題，來自 CMU 機器人研究所的在讀博士胡亞飛等人在提出的最新研究工作 OPERE 中，使用離線預訓練與在線自適應算法來學習狀態價值函數，讓機器人可以在稀疏的外在獎勵下獲得更多信息。
最終的結果也表明，OPERE 在復雜的場景中可以有效提升移動機器人自主探索的效果。與其他最先進的 OPE 方法相比，OPERE 算法實現了更好的預測性能。同時，這也是首次在具有挑戰性的地下和城市環境中的機器人探索的真實數據集上展示價值函數預測的工作。
6月2日早10點，在「AI新青年講座」第211中，CMU 機器人研究所在讀博士胡亞飛將主講《基于離線強化學習和在線自適應學習的機器人自主探索》。
講者
胡亞飛，CMU Robotics Institute在讀博士；主要研究方向為機器人感知與決策，涉及深度強化學習，運動規劃，機器人自主探索，視覺SLAM等問題。在計算機視覺和機器人領域頂會頂刊發表數篇論文，并擔任審稿人。
第211講
主 題
《基于離線強化學習和在線自適應學習的機器人自主探索》
提 綱
1、離線強化學習在機器人領域應用
2、預訓練模型對機器人技術的影響
3、探索機器人控制的基礎模型
4、使用離線預訓練與在線自適應學習的機器人探索方法OPERE
5、OPERE在復雜場景中的真機測試
直 播 信 息
直播時間：6月2日10:00
直播地點：智東西公開課知識店鋪
成果
論文標題：《Off-Policy Evaluation with Online Adaptation for Robot Exploration in Challenging Environments》
論文地址：//arxiv.org/abs/2204.03140
開源地址：//github.com/JeffreyYH/opere
