智東西（公眾號：zhidxcom）
編譯 | 程茜
編輯 | 云鵬
智東西8月14日消息，本周二，一篇來自香港大學XLANG Lab 、月之暗面等多家機構聯合署名的論文在arXiv發表，提出了一個用于構建和擴展的CUA（計算機使用Agent）開源框架OpenCUA，這一框架開源意味著用戶可以高效、低門檻開發自主操作電腦的Agent。
香港大學計算機科學助理教授Tao Yu（余濤）為項目負責人，月之暗面、斯坦福大學、滑鐵盧大學、卡內基梅隆大學的研究人員參與，月之暗面創始人、CEO楊植麟在作者名單之列。
研究人員開源OpenCUA的原因是，目前CUA系統的關鍵細節仍然處于閉源狀態，為了擴展其輔助用戶執行相應決策的應用能力，研究人員需要訪問開源CUA框架來研究其能力、局限性和風險。
在此基礎上，研究人員提出了這一用于擴展CUA數據和基礎模型的綜合開源框架。
該框架包括：無縫捕獲人類計算機使用演示的注釋基礎設施；第一個跨越3個操作系統以及超200個應用程序和網站的大規模計算機使用任務數據集AgentNet；一個可擴展的、能將演示轉換為具有反思性長思維鏈推理“狀態-動作”對的工作流程。
該模型是基于Kimi-VL-A3B、Qwen2-VL-7B、Qwen2.5-VL-7B和Qwen2.5-VL-32B進行監督微調（SFT），獲得了OpenCUA模型變體：OpenCUA-A3B、OpenCUA-Qwen2-7B、OpenCUA-7B和OpenCUA-2.5-32B。
其中旗艦模型OpenCUA-32B在CUA基準測試OSWorld-Verified上的平均成功率達到34.8%，達到開源模型新的SOTA，甚至超越了OpenAI CUA（GPT-4o）。
論文地址：//arxiv.org/pdf/2508.09123
OpenCUA主頁（工具、模型、數據集）：//opencua.xlang.ai
一、查天氣、做PPT任務軌跡清晰明了，表現超OpenAI、Kimi、Qwen多個模型
研究人員在項目主頁展示了OpenCUA使用計算機執行的任務軌跡。
在VScode中安裝擴展的任務軌跡：
查詢英國曼徹斯特天氣預報的任務軌跡：
制作PPT的任務軌跡：
在基礎測試驗證上，CUA基準測試OSWorld-Verify中，OpenCUA-32B的表現優于Qwen、Kimi、OpenAI、Claude等開源及閉源模型，在部分任務表現上，獲得的分數低于Claude?3.7?Sonnet、Claude?4?Sonnet。
在離線部署方面，研究人員構建了計算機離線使用的Agent評估基準AgentNetBench，由從AgentNet數據集中選出的100個代表性任務組成，涵蓋Windows和macOS平臺以及不同的領域。
其中每項任務都經過研究人員手動審查，以細化目標并刪除多余作，且由于計算機使用任務中有效作固有的多樣性，研究人員在每個步驟中都手動提供了多個有效操作選項。
OpenCUA-7B、OpenCUA-32B的平均分數均優于OpenAI、Qwen等模型。
GUI定位能力也就是模型面對圖形化界面（GUI），去識別按鈕、菜單、輸入框等視覺元素的能力。其中研究人員采用了OSWorld-G、Screenspot-V2、Screenspot-Pro三個基準，OpenCUA-2.5-72B的每個測試表現都遠超其他模型。
二、簡化數據收集流程，發布22.5K計算機使用任務數據集
對于該框架的具體實現方面，包含了如何收集高質量計算機使用Agent數據、形成數據集、高效擴展等。
首先，高效、準確的注釋對于收集高質量的計算機使用Agent數據至關重要，但現有的工具不支持非技術用戶自然、跨平臺的任務記錄，因此研究人員開發了用戶友好的注釋工具AgentNet Tool，該工具可以簡化計算機使用演示的收集和驗證，在注釋者的個人計算機上運行并在后臺記錄演示。
AgentNet Tool可捕獲跨Windows、macOS和Ubuntu三大操作系統的用戶交互，能記錄屏幕視頻、鼠標、鍵盤事件和元數據，從而擴展收集真實世界的計算機使用演示。
其次，AgentNet Method可以將原始的用戶演示處理成干凈的、可學習的狀態-動作軌跡，由此產生的軌跡包括內心獨白式的思想和行動歷史，使其適合視覺語言模型訓練。
這些處理后的數據被整理到AgentNet數據集和AgentNetBench中。該數據集涵蓋了100多個應用程序和200多個網站的各種開放領域任務。該基準測試提供任務指令、步驟歷史記錄和每個步驟的多個黃金標準作，以實現高效離線評估。
該數據集包含22.5K人工標注的計算機使用任務，包括Windows的12K、macOS的5K和Ubuntu系統的5K。這些任務涵蓋140多個應用程序和190個網站，通常涉及多應用程序工作流程、專業工具和不常見的功能。
其研究論文提到，與以往的GUI數據集相比，AgentNet是第一個真實、復雜、多樣、多模態的桌面軌跡級數據集。
▲OpenCUA的基本框架
最后，OpenCUA能使用反思性思維鏈推理、多圖像歷史和混合域數據在數據集上進行訓練，它們可以在跨作系統的真實桌面環境中執行，以執行計算機使用任務。
值得一提的是，高Pass@N性能也表明OpenCUA-7B具有強大的測試時間擴展潛力。Pass@N是評估生成式模型在代碼生成、程序合成、推理任務中性能的重要指標，用于衡量模型在多次嘗試內生成正確結果的概率。
▲OpenCUA的Pass@N性能
結語：OpenCUA為計算機使用Agent規模化鋪路
計算機使用Agent是一種能夠通過與計算機圖形用戶界面（GUI）交互來自動執行數字任務的智能體，但由于數據稀缺、人工采集成高、難以私有化部署等痛點，使得其走向規模化應用落地有諸多瓶頸。
此次，OpenCUA在開源模型基礎上進行監督微調獲得模型變體，降低了計算機使用Agent的數據獲取成本，并形成了跨三個操作系統、上百個應用和網頁的數據集，對于其進一步調用多種工具、理解用戶需求、高效任務執行等方面將提供助力。
最新評論