typesafe-computer-use：每步 0.0002 美元的 macOS 桌面自动化

让 AI 操作桌面，前沿模型的 computer use 每步都要发一张截屏、等上数秒拿一个计划，一个十二步的小任务就是几美元。typesafe-computer-use 是 2026 年 9 月中旬开源的 macOS 自动化工具（MIT，Python，截至 2026-10-12 已 1.2k star），思路是把「选动作」这件事从贵模型手里拿走：输入一句英文目标，它读屏，让一个小分类器决定下一步，只有文本框真正需要自由文本时才调用写模型。

核心功能

• 一步五个阶段：对最前方窗口做 OCR 裁剪，再用无障碍树的标签补上 OCR 看不到的图标；代码补齐事实——日期及其距离、重复标签所在行、聚焦字段、app 与 URL、本屏已经试过的动作；然后一次 TypeSafe 请求回答三个 Choice：做什么动作、对哪个元素、在哪个界面；动作确定性执行；分类器停手时，写模型读屏作答或交还控制权，它从不选动作。
• Choice 的容量：一次 Choice 可以在至多 255 个选项里给出完整概率分布和校准置信度，几百毫秒返回，输出 token 免费——这是把「选哪个」交给小模型的前提。
• 成本和延迟的自测对比：同一张截图、各做一次决策——每次决策 0.0002 美元，对 Claude Opus 5 裸读截图的 0.032 美元；模型延迟 0.13–0.38 秒对 5.2 秒；含采集和 OCR 的端到端步进约 1.5 秒对约 5.5 秒；一个 12 步任务 0.003 美元对 0.40–0.90 美元。
• 推理前移成代码：日期、字段是否聚焦、URL 是否干净，全部由代码算好作为状态交给模型。README 也写明了代价：前沿模型免费做的那些推理，在这里必须逐项重建成确定性状态。
• dry run 是一等公民：uv run clicker "open the Playground" 默认只跑一步、只打印它会做什么；加 --act 才真正驱动机器，上限 100 步；停止条件包括 done、低置信、卡住和步数上限，Ctrl-C 或把鼠标甩到屏幕左上角都能叫停。
• 浏览器后端：可以切到 DOM 感知走 Chrome DevTools，不 OCR、不需要屏幕权限。
• 每步可检查：动作记录写进 runs/<timestamp>/；uv run clicker-inspect "any goal" 会打开带标注的截图和完整 payload，失败的 run 可以离线 replay。

典型使用场景

• 想低成本桌面自动化的个人：先 dry run 看它打算点什么，确认合理再 --act；官方示例是 “go to techcrunch and take me to the checkout page for the cheapest tickets to their next upcoming event”。
• 抢票、报活动这类带日期的任务：日期距离由代码算好喂给分类器，不靠模型从像素里读。
• agent 研究者：scripts/osworld 能在 OSWorld 上单任务运行，和 OSWorld 自带的 GPT agent 同题对比（结果在 docs/osworld.md，README 未列数值）。

快速上手

git clone https://github.com/awlevin/typesafe-computer-use
cd typesafe-computer-use
uv sync
cp .env.example .env     # fill in the keys
uv run clicker "open the Playground"                 # dry run: one step, prints what it would do

前置条件：macOS 14 或更新、Python 3.12 或更新、uv；终端要在系统设置里拿到屏幕录制和辅助功能权限，缺了前者截图只是壁纸，缺了后者合成点击会被静默丢弃、--act 拒绝启动。key 方面，TYPESAFE_API_KEY 每次决策都用，ANTHROPIC_API_KEY 可选，供写模型生成自由文本。

小结

typesafe-computer-use 适合想把「选动作」这一步变便宜的桌面自动化开发者，也适合研究 computer use 成本结构的人。要认清的几点：主路径只支持 macOS 14+，Windows 10/11 是实验性；README 自标 Beta，「设置和行为可能在 0.x 版本间变化」；它驱动的是你真实的鼠标键盘，务必从 dry run 开始；更细的已知局限在 docs/known-limits.md。官方对比测试的口径也要打折听——被对照的 Opus 5 是裸读像素，而它这边有代码兜底，不是同一水平的较量。代码 MIT 协议，Python 编写。相关阅读：智能体控制浏览器五条路线，以及 Jev 生态十例。