Frontier Now
搜索

智能体框架#浏览器自动化#设备操控

OpenGCUA：用代码、界面与设备操作电脑的开源智能体栈

OpenGCUA 是 Apache-2.0 的电脑操作智能体开源栈，已开放 OSWorld 集成、真机 harness 与 SDK，GCUA 模型未发布。

作者
Frontier Now 编辑部
发布

项目资料

GitHub Ecosystem
仓库地址github.com/Tongyi-MAI/OpenGCUA
许可证
Apache-2.0
主语言
HTML
星标
374
核查时间
2026-10-21

以上快照资料以核查当日为准，可能随版本或运营策略变化。

OpenGCUA 演示台截图：左侧 macOS 预览程序中打开着一份申根签证申请表，右侧逐步列出智能体的意图与生成的代码

让智能体替你操作电脑，需要它决定每一步怎样观察、怎样动手，以及怎样安排任务。OpenGCUA 是 Tongyi-MAI 组织在 GitHub 上发布的开源项目，采用 Apache-2.0 许可证，目标是把通用电脑操作智能体（GCUA）的完整技术栈开放出来。README 对 GCUA 的定义是：它读取无障碍树、调用应用 API、运行 shell 命令，需要时才操作图形界面，还能把这些动作写成带循环和判断的程序。

同名论文 arXiv:2610.22200《OpenGCUA: Toward a Fully Open Stack for Generalist Computer Use》于 2026 年 10 月 15 日提交，第一作者为 Hanzhang Zhou，采用 CC BY 4.0。README 把它称为一个正在进行的项目。本次开放的部分包括：智能体设计（OSWorld 集成示例与两种参考智能体）、评测轨迹、macOS 真机 harness、跨设备 SDK，以及菜单栏应用的预览版。GCUA 模型本身仍在路线图上，尚未发布。真机 harness 与 SDK 在 README 中都标注为初步版本（preliminary）。

README 演示：同一份签证表单的四种工作流，依次为 OpenGCUA、偏好图形界面的 OpenGCUA、GUI 加批处理与 Codex

这张图是 README 中的演示录屏拼图，用来展示流程，并非基准测试。

核心功能

  • 代码与界面混合操作：模型可以把一步操作写成 Python 程序，把无障碍树、应用 API、shell 命令和图形界面动作组合在同一个程序里，程序中可以有循环、分支与检查。中间结果直接决定下一步，不必每次都回到模型做一次新的判断。
  • 按需截图：常见的图形界面智能体每次动作后都截一张图，OpenGCUA 则由模型决定何时调用 screenshot()。
  • 模型自己管理任务：模型维护一份 todo 列表，并在每段程序之前说明 <intent>。
  • 跨设备 SDK（初步版本）：用一套接口操作电脑、浏览器和手机。每个操作都绑定到明确的设备、应用、窗口或标签页，无障碍树与视觉可以分别用于观察和操作，一个程序还能协调多台设备。底层是 Rust 核心加 Python 绑定，适配 macOS、Android、浏览器和 Linux。
  • macOS 应用（本地开发构建）：菜单栏助手，可以输入任务、收成浮动面板、回答问题并查看保存的结果。应用内置 Python、SDK 和经过签名的 CuaDriver。README 写明它面向 Apple Silicon 与 macOS 14 及以上，目前仍是本地开发构建。

性能数据

以下数字都由项目方测得，README 与论文摘要给出的主要数字一致。我们没有复现。

  • OSWorld-v2 离线集：八个前沿模型的平均部分分从 45.3 升到 64.9，提高 19.6 分（论文摘要同样给出 +19.6），每个任务的步数平均减少 53.0%。README 举例：GPT-6 Astra 每个任务的步数从 102 降到 34。
  • 四个 macOS 真机任务：Qwen3.8-Max 每个任务使用的推理 token 是 GPT-6 Astra 的 19.4 倍，但只完成 3 个任务，GPT-6 Astra 完成了 4 个。论文摘要同样给出 19.4 倍。
  • 代码执行的增量：在相同的图形界面与 shell 权限下，把操作写成代码，比 GUI 加 CLI 的智能体平均高 6.1 分，步数减少 14.8%（三个模型的平均）。

OSWorld-v2 离线集上八个前沿模型的部分分对比图，OpenGCUA 把平均部分分从 45.3 提高到 64.9

典型使用场景

  • 研究电脑操作智能体设计的人：可以直接对照 OSWorld 集成示例、两种参考智能体和八个模型的评测轨迹，检验自己的方案。想对比另一个电脑操作框架，可以看 Agent-S。
  • 想在自己 Mac 上试跑的开发者：先按快速上手搭好环境，用真机 harness 跑一个小任务，再决定是否投入更多时间。如果关心怎样把 Codex 的电脑操控交给其他智能体，可以看 LCU。
  • 想用一个程序同时调度电脑、浏览器和手机的团队：跨设备 SDK 为这类程序设计，但仍是初步版本，接口和行为都可能继续调整。

快速上手

运行前需要：macOS 14 或更高版本、uv、Xcode 命令行工具、Rust/Cargo 1.89 或更高版本，以及 Python 3.11 到 3.14（README 推荐 3.12）。只安装预编译的 SDK 轮子则不需要 Rust。

git clone https://github.com/Tongyi-MAI/OpenGCUA.git
cd OpenGCUA
uv venv --python 3.12
source .venv/bin/activate
uv pip install -e ./packages/sdk -e ./packages/harness/runtime
.venv/bin/mu setup macos
.venv/bin/mu doctor macos
  1. 复制示例配置：cp packages/harness/configs/macos_demo.json packages/harness/configs/local.json，然后在 local.json 里填入 api_key，并设置 model_name 与 llm_base_url。README 的示例是阿里云百炼（DashScope）的 qwen3.8-flash，协议为 openai。README 还说明了 OpenAI Responses 与 Anthropic Messages 两类接口的配法，详见 QUICKSTART.md。
  2. 在「系统设置 → 隐私与安全性」中，给 CuaDriver.app 授予「辅助功能」和「屏幕录制」权限，退出并重新打开，再运行 .venv/bin/mu doctor macos。
  3. 启动终端对话：.venv/bin/python packages/harness/runtime/mac_agent.py。也可以运行 bash packages/harness/runtime/start_demo.sh，然后打开 http://127.0.0.1:8800 的演示台。
  4. 遇到 PERMISSION_DENIED、DEVICE_OFFLINE 之类的错误，查看 QUICKSTART.md 的排障部分。

只想用菜单栏应用的读者，可以到 v0.1.2 的发布页下载 Apple Silicon 版的 DMG，并核对随附的 SHA-256 校验文件。SDK 轮子覆盖 Python 3.11 到 3.14，支持 macOS arm64 与 manylinux x86_64。

小结

OpenGCUA 适合两类人：一类是想研究智能体应该怎样观察和动作的研究者，另一类是愿意在自己 Mac 上试用预览版、能接受粗糙之处的开发者。它不适合想要现成生产自动化的团队。GCUA 模型尚未发布，真机 harness 与 SDK 都标注为初步版本，macOS 应用也是本地开发构建。

有几件事要先知道。第一，智能体要读取屏幕内容才能决定下一步，这些观察结果会交给你在 local.json 中配置的模型接口。README 没有进一步说明截图和无障碍树会如何处理，选择模型接口时要自己判断。第二，授予辅助功能与屏幕录制权限后，它能看到并操作你的屏幕。README 也写明它可以在后台窗口里工作而不打断你，建议先在不含敏感数据的账户里试跑。第三，性能数字都来自项目自己的实验，真机对比只有四个任务，我们没有复现。第四，GitHub 把主语言标为 HTML，因为按字节计 HTML 最多；代码主体是 Python，其次是 Rust 和 Swift。

仓库创建于 2026 年 10 月 15 日，最近一次推送是 2026 年 10 月 21 日，尚未归档；最新发布 v0.1.2 发布于 2026 年 10 月 19 日。许可证为 Apache-2.0。截至 2026 年 10 月 21 日，仓库有 374 颗星。我们核对了 README、LICENSE、论文摘要与仓库元数据，没有安装运行。