自动化#代码智能体#设备操控

phone-harness

phone-harness 让 Claude Code、Codex 直接操控真实 iPhone 和安卓:不越狱、手机零安装,靠屏幕 OCR 加坐标点按。

项目资料

GitHub Ecosystem
仓库地址github.com/ShawnPana/phone-harness
许可证
MIT
主语言
Python
星标
3,084
核查时间
2026-09-29

以上快照资料以核查当日为准,可能随版本或运营策略变化。

App 不开放 API,Agent 就只能在浏览器里打转——打车、点外卖、发消息这些真正长在手机上的事碰不了。phone-harness 换了条路:让 Claude Code、Codex 或任何智能体像人一样用一台真实的 iPhone 或安卓手机,看屏幕、点按、打字、读结果。最巧的是它的实现——iPhone 直接把 macOS 的「iPhone 镜像」窗口当眼睛,不越狱、不装 Xcode、手机端什么都不装。公众号「开源先锋」9 月 29 日推荐过它(仓库 2026-08-07 创建,查于 2026-09-29 已有 3,084 星)。

核心功能

  • 手机零改动:iPhone 走 Mac 上的「iPhone 镜像」窗口,安卓走 adb(USB 或 Wi-Fi);不越狱、不装 Xcode、手机上不装任何自动化 App。
  • 屏幕当眼睛:iPhone 用苹果 Vision 框架做 OCR,find_text("Weather") 直接返回 (400, 468) 这样的可点击坐标,tap(400, 468) 一点即中;安卓读系统无障碍树,文字比 OCR 还准。
  • 双平台一套函数:助手函数两边通用,phone-harness config set platform ios|android 一条命令切默认设备。
  • Agent Skill 注册:phone-harness skill 生成 SKILL.md,注册进 Claude Code / Codex 后随时调用;README 还给了一段让智能体自己安装自己的 setup 提示词。
  • 花钱前先请示:官方演示任务是「从我现在的位置叫一辆 Waymo 去 Delah Coffee」——智能体自己开 App、输目的地,查完车费停下来向用户确认,而不是自作主张付款。
  • 云端租手机:phone-harness cloud start 租一台专属云安卓,App 和登录状态保留,前 100 分钟免费;cloud stop 停止计费,start --temp 用完即弃。

典型使用场景

  1. 没有 API 的 App 自动化:打车、订餐、银行类操作,智能体照着屏幕一步步替你点。
  2. 批量重复操作:给一串联系人发消息、逐条整理应用里的内容,写几行 Python 循环交给它。
  3. 跨平台测试:只有 iPhone 的开发者可以租一台云安卓,把同一套脚本跑在另一端。

和 OpenMausBot 让智能体操控一台完整电脑、动手前在聊天里审批是同一个思路,phone-harness 把活动半径进一步缩到了你的口袋里。

快速上手

前置:Python 3.10+;iPhone 方案需要一台 Mac,安卓方案 macOS / Linux / Windows 都行。最省事的装法是把 README 的 setup 提示词丢给 Claude Code 或 Codex,让它自己装自己;手动装法按 README 走 install.md。装完先体检:

phone-harness --doctor

它逐项检查依赖链:iPhone 需要在「系统设置 → 隐私与安全性」给终端开辅助功能和屏幕录制权限,安卓需要开发者选项加 adb 授权。通过后写几行 Python 就是一次完整操作:

phone-harness <<'PY'
open_app("Notes")
tap_text("New Note")
type_text("hello from the harness")
print([o["text"] for o in ocr()][:10])
PY

小结

想让 Agent 把「手」伸进手机 App 的开发者和自动化玩家,Mac + iPhone 或任意一台安卓机今天就能跑起来;只想点点链接、抓抓网页的没必要上真机,浏览器方案更省事。MIT 协议、Python 实现,仓库 2026-08-07 创建、2026-09-27 还在推送,项目还年轻(查于 2026-09-29,3,084 星)。局限在 README 里写得诚实:iPhone 解锁会暂停镜像、安卓输 PIN 得你来;OCR 只认文字不认图标,无标签控件要靠视觉模型看截图;没有多点触控、相机和 Face ID 流程,DRM 视频一片黑。另外云手机是它的收费服务,重度使用会变成一笔订阅开支。