iPhone-use：让 Codex 通过 USB 操作真实 iPhone

想让 AI 碰真机数据，常见几条路都不舒服：模拟器里没有你登录过的 App 状态，云手机和群控方案要把设备交给第三方服务，裸用 Appium 又得自己搭一整套服务。zhongerxin 的 iPhone-use（MIT 协议，截至 2026-10-13 约 3.4k star）换了个做法：它是一个跑在 macOS 上的 Codex 插件，经 USB 加 WebDriverAgent（WDA）直接操作你手边那台 iPhone——用自然语言描述任务，Codex 就能打开 App、读取页面、点击、滚动、输入文字、整理列表，侧边栏里还实时显示手机屏幕。不越狱，也不用单独启动 Appium Server。

核心功能

• 17 个工具，覆盖真机操作全流程：pua_doctor、pua_setup、pua_ready 做环境诊断与设备配置；pua_observe、pua_find 读控件树和截图；pua_tap、pua_swipe、pua_press_button 执行点击、滑动和主屏幕；pua_type_text、pua_wait 管输入和等待；pua_batch、pua_scroll_find、pua_collect_list 把已知步骤组成一批，减少模型往返。另有 2 个工具专供屏幕 widget。
• 本地 USB 通道，数据不出本机：Python MCP 服务通过本机 loopback 转发访问 WDA，运行数据和签名构建都留在本机；WDA 固定在已验证的 16.14.0 提交，下载、签名、构建由 setup 流程统一管理。
• 控件定位失败会看截图兜底：元素被遮挡、未聚焦或控件树不完整时，工具返回截图和处理指引，模型按 image.pixel_to_point 换算坐标后再 pua_tap，而不是盲目重放点击。
• 实时手机屏幕 widget：侧边栏画出 iPhone 外壳、设备状态、操作光效和清楚可见的点击/拖动提示；底部有刷新、主屏幕和截图按钮，锁屏与主动暂停区分开，解锁后 READY 可恢复。
• 输入与提交分开：工具默认不提交文字，模型需要核对关键页面、接收人、数量和最终结果；密码、验证码、Face ID 等认证交给你本人在系统界面完成，接管期间可以暂停预览。
• 为中文和长文本设计：一次提供完整 Unicode 文字，长文本分段输入并支持续传；列表采集走有界滚动查找、重叠读取与去重，返回覆盖边界。

典型使用场景

• 让 Codex 打开备忘录新建草稿，输入一段中文内容，核对后保留。
• 在某个 App 里搜索一个名称，读取前几项结果并整理成列表。
• 分段滚动一个长列表，边读边去重，说明已覆盖的范围和还没确认的部分。
• 真机回归：让 agent 重复一遍固定操作路径，截图留证。

快速上手

git clone https://github.com/zhongerxin/iPhone-use.git
cd iPhone-use
sh scripts/install.sh

脚本会通过 Codex CLI 注册本地 marketplace、安装插件和技能，并把服务注册为标准 MCP iphone_use。之后把 README 里那段中文提示词粘给 Codex，它会引导你完成 WDA 的签名、构建与启动，直到 pua_ready 返回 ready=true，手机屏幕就会出现在侧边栏。已配置过的设备会复用构建，不需要每次重装。

小结

适合 macOS 上用 Codex、又希望 agent 够到真机的人；只用模拟器或只做桌面自动化的可以跳过。门槛主要在手机侧：需要完整 Xcode（仅 Command Line Tools 不够）、一个可用的 Apple 账号和开发团队给 WDA Runner 签名、设备已信任此 Mac 并开启开发者模式，安装期间保持解锁；Python 3.9+ 与 Node 20.19+/22.12+/24+ 也得装好。两个说明：仓库 README 里仍写着「目前为私有」，但代码实际已经公开，可以直接 clone；插件默认向独立的 PostHog 项目发送匿名使用统计（不含画面、输入和设备标识），设 IPHONE_USE_ANALYTICS=0 或 DO_NOT_TRACK=1 可关闭。隐私上比全程录屏的方案轻：屏幕预览流不落盘，明确调用的截图有保留上限，运行目录 ~/.local/share/iphone-use/ 权限 700，配置和图像文件 600。同类里，browser-control 让智能体驱动你日常的 Chromium，覆盖面不同但思路一致；typesafe-computer-use 则用 OCR 加无障碍树做 Mac 桌面自动化，按步计费。