Cua：电脑操控智能体工具箱

想让 AI 智能体在真实应用里点按钮、填表格，又不想让它一直占着鼠标，可以看看开源的电脑操控智能体工具箱 Cua。Cua 是 Cua AI 发布的 trycua/cua 仓库，把桌面驱动、沙盒、本地虚拟机、桌面应用和评测工具放在一起。README 写明 Cua Driver 支持 macOS、Windows 和 Linux，在应用和平台允许时，可以不移动指针、不抢占焦点地操作应用。

上图是 README 里 Cua Driver 演示视频的一帧，两个 Cua Driver 会话分别在 LibreOffice Calc 和 Inkscape 里操作。演示跑在 Omarchy（基于 Hyprland 的 Linux 桌面）上，而 Hyprland 插件的 README 把它称为可选的实验组件，「小结」会说明它的验证范围。

核心功能

Cua 的核心功能分成五块，按读者最可能需要的顺序排列。

• Cua Driver 操作本机应用：提供 MCP 服务（cua-driver mcp）、命令行，以及 Python、TypeScript、Rust 的 SDK。仓库里的 action-support 文档记录了各平台的验收结果，例如 Windows 上 122 行中 99 行交付、23 行按预期拒绝。被拒绝的操作会返回明确的错误码。
• 沙盒、SDK 与 Lume 虚拟机：cua 命令统一管理本地容器和虚拟机，cua sb create、cua sb exec、cua sb screenshot 可以直接操作沙盒。Lume 在 Apple Silicon 的 Mac 上通过 Apple 的 Virtualization.Framework 创建 macOS 和 Linux 虚拟机。SDK 有 Python（pip install cua）、TypeScript（@trycua/cua）和 Rust（cua-sdk）三种包，Swift 和 Kotlin 尚未正式发布。
• Cua Spaces 桌面应用：每个 Space 是一台完整桌面，可以跑在自己的 Mac、其他自有机器，或你自己的 AWS、Google Cloud、Modal 账号里。Teleport 能把已登录的 Chrome 或 Slack 带进 Space，登录会话加密保存在本机的 Keyvault 里，你批准后才会进入 Space。Multiplayer 让你和智能体共用一个桌面，各自有光标。截至 2026 年 10 月 21 日，README 写的价格是：个人免费，Pro 每月 18 美元，Teams 每座位每月 30 美元。
• Cua Bench 评测：cb run 在本机运行单个任务或整个数据集，结果写入 ~/.local/share/cua-bench/runs/，轨迹为 ATIF-v1.8 格式。cb dataset build 能把运行记录导出为 aguvis-stage-1 和 gui-r1 两种格式的 trace。
• CUA-S1 小模型（研究用）：针对表单的决策，比如某个字段该填哪个值，或某个元素要不要动。GitHub 上只有源码，模型权重放在 Hugging Face，适用范围和许可证以各自的模型卡为准。

典型使用场景

Cua 的用法取决于你要解决的问题，下面三类读者用到的部分各不相同。

• 在 Mac 上让 Claude Code 操作本机应用的开发者：用一条 claude mcp add 命令把 Cua Driver 注册为 MCP 服务，然后让智能体在计算器里算 6 × 7，核对屏幕显示 42。这也是 README 给出的第一个验证任务。
• 要跑桌面智能体评测的团队：用 Cua Bench 数据集在沙盒里运行自己的智能体，保留每一步的截图和动作轨迹，之后再决定是否用于训练。
• 有闲置 Mac、想给智能体留一个长期桌面的人：在这台机器上部署 Cua Spaces，按 README 的说明经 relay、Tailscale 或 SSH 接入，需要做决定时再用 Multiplayer 接手桌面。

快速上手

Cua 的入门建议从 Cua Driver 开始：它操作的是你这台机器上的原生应用，README 的第一个示例不需要虚拟机或容器。

/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"
claude mcp add --transport stdio cua-driver -- cua-driver mcp

第一行安装 Cua Driver，第二行把它注册为 Claude Code 的 stdio MCP 服务。在 macOS 上还要给 CuaDriver.app 授予辅助功能和屏幕录制权限，README 说这两项权限是按应用身份记录的。默认的 standard 模式不逐步弹窗确认，unrestricted 模式要额外加 --dangerously-bypass-approvals 才能开启。接着让智能体在计算器里算 6 × 7，屏幕应显示 42。

小结

Cua 适合想给自己的智能体配一套开源桌面工具、并自己接入模型的开发者，也适合需要自己跑电脑操控评测的团队。它不适合想要托管服务的人：Cua Bench 的 README 写明 Cua Cloud 已经结束，cb run --on cloud 会直接报错。它也不适合想要现成智能体的人，README 的主线是「自带智能体和模型」，Cua 提供电脑和工具。和 Agent S 这类自带规划模型和定位模型的框架相比，这是最大的区别。不过，README 的废弃包表格把 cua-agent 的替代方案指向 SDK 中的 sandbox.agents()，智能体 API 在 SDK 里占多大比重，README 没有说清。

许可证要分开看。仓库根目录是 MIT，但 Cua Spaces 应用和 Cua Driver Bench 是 FSL-1.1-MIT：可以读、可以自己部署，但 FSL 禁止与许可方竞争的用途，把它们作为托管服务提供前要先看清许可证；每个版本发布两年后转为 MIT。可选的 cua-perception 扩展含 AGPL-3.0-only 的 OmniParser 模型，README 要求在安装、再分发或托管它之前先阅读第三方声明与注意事项。

平台上，Cua Driver 支持 macOS、Windows 和 Linux，但 Linux 的结果取决于显示服务和合成器。X11 与 Sway 通过了全部声明的测试行；GNOME 需要额外安装一个 Shell 助手并重启一次；KDE 上直接的定向键鼠输入被明确拒绝。Hyprland 插件是可选、默认关闭的实验组件，原始后台输入只对 us 键盘布局下的 LibreOffice Calc 和 Inkscape 指定版本做过验证，Chromium 和 Electron 没有。Lume 只面向 Apple Silicon，Spaces 应用要求 macOS 26，README 没有写 Cua Driver 的最低系统版本和 CPU 架构。

有两处说法对不上，README 本身判断不了哪个是当前版本。仓库首页的 README 说 Cua Bench 的第一个任务不需要虚拟机、Docker 或模型 API key，但 Cua Bench 自己的 README 写着模拟后端已经移除，cb run 默认在本机 gVisor 容器里运行，SDK 文档又说 gVisor 只在可用时才会用。仓库 2025 年 1 月创建，最近一次推送在 2026 年 10 月 21 日，当天 GitHub 统计的未关闭 issue 和 PR 合计 1,175 个。仓库首页的 README 和 Cua Bench 的 README 都没有公布跑分。我们读的是 README、各组件的说明文档和平台支持页，没有安装或运行这套组件。另外，PyPI 上的 cua-agent、cua-computer 等包和 npm 上的 cuabot 已经停止维护，README 明确说 cuabot 有已知安全问题，不要运行。