Claude Code 团队怎么验证 AI 写的代码:三种测试、39 项清单与一条不可动的规则
Claude Code 团队约 90% 代码由 Claude 写与审。本文依官方博客整理三类测试、verify skill、39 项清单与规则隔离机制。
11 月 16 日,Claude Code 团队在官方博客里公开了他们的验证体系:团队约 90% 的代码由 Claude 编写和审查。这个比例之所以成立,不是因为模型一次就能写对,而是因为他们把”验证”做成了独立系统——有测试、有清单、有观察期、有评测,甚至规定被审的代码不能修改审查规则本身。中文社区很快出现了转述(本文的选题来自一篇公众号整理),但细节值得回到原文对照。
先建验证闭环,再谈并行
团队给出一条清晰的因果链:没有验证手段时,你只能同时盯一两个 Claude,因为每一行都得自己看;有了验证闭环,几十甚至上百个并行才有意义。他们的内部测试显示,在结构化文件生成这类任务上,让独立的判分工具按标准检查 Claude 的产出,任务成功率最多提升 10 个百分点,难题上的收益更大。
另一半变化在成本:过去生成测试、基准和技术规范很贵,现在 Agent 几秒钟就能生成一套;而且这些测试一旦生成就是可反复运行的软件,多跑几遍并不怎么消耗 token。团队还会把验证结果反过来改进 Agent——例如它反复在日志里打印用户数据,就写进 CLAUDE.md 的明确规则或加一道钩子,让同类问题下次被拦下。
三种最值得投入的测试
端到端测试优先级最高。如果精力只够做一种,就做 E2E:它模拟真实用户路径(加购物车、结账、进入确认页),难以被投机取巧绕过,整个功能要么通要么不通。相比单元测试只报”30 秒超时”,E2E 能截屏并给出执行轨迹,直接指出结账按钮为什么是禁用的。团队会交给 Claude 操作真实环境的权限:网页用 Chrome 扩展,移动端用模拟器,桌面用计算机控制,后端就在本地起服务。功能地图(真实路径、快捷键、选择器与预期结果)同时充当施工指引和判分标准。
属性测试专抓人和 AI 都会漏掉的边缘情况。先写下一条”绝不能被打破”的规则,再用 fast-check、Hypothesis 或 proptest 生成成千上万个随机输入去试图证伪。常见属性包括:序列化再反序列化必须还原、账户余额不能为负、同一迁移执行一次和执行两次结果相同、优化后的代码与朴素实现输出一致。这些随机边界不带原作者(人或 AI)的偏见,在规范已经脱离生产实际的重构场景里尤其有用。
差异测试面向大规模迁移:把老系统和新系统并排跑同样的随机输入或生产流量切片,输出不一致就是 Bug 或破坏性变更。需要注意归一化空格这类无关差异,并维护一份”允许不同”的放行清单。
团队同时点名两种”死法”:测试不稳定,AI 会学会反复重试刷过,而不是去修代码;测试太慢,Agent 批量排查的频次下降,定位问题会变得困难。
verify skill 与三轮升级
在他们的流程里,验证的第一含义不是跑单测,而是”把改动真正跑起来”。网页、iOS、Android、桌面、后端各有对应的运行方式;团队把这些启动与检查步骤固化成一个叫 verify 的 skill,放在仓库的 .claude/skills/ 里、尽量靠近相关代码,Claude 在提交前会调用它。这个 skill 本身也要被投资:让它快、让它稳,像对待冒烟测试一样反复压测。
失败的处理也很克制:Claude 先自行修复,连续三轮仍不过就停下来找人。检查由代码的所有者编写,直到它能准确抓出所有者会抓的问题;当检查需要拉人介入时,必须说明原因,而不是让人去啃 diff。
39 项清单与规则隔离
团队维护了一张 39 项的可靠性清单,每一项都有可从 diff 读出的触发条件、对应检查,以及背后的真实事故或 PR。例子之一是”--resume 能加载旧对话”:当会话存储或消息类型变化时,就要问新字段能否安全加载旧记录——旧记录里并没有这个字段。Claude 读 diff,只激活触发条件匹配的 3 到 10 项,没人需要背下所有历史事故。
评审不做”叠人”:增加第二个更贵的审查者,往往不如把主审查者的提示词调好。他们用 REVIEW.md 规定这类代码该看什么,每一轮都继承上一轮的上下文与失败记录,而不是从头再查一遍。
还有几条不可动摇的底线:被审的代码不能修改审查规则——REVIEW.md 永远从基础分支读取,绝不采纳本次提交的改动;审查只针对已生成的提交,审查期间还在推送的代码,结论作废;便宜的检查先跑,提交 PR 前必须在本地过完测试、构建与格式检查。
先观察再强制:评估审查者
每笔提交都会打上”如何验证”的标记,连”未验证”也会写明,方便事后检索。他们做了一个提交闸门,有三种模式:关闭、观察、强制。观察模式只记录”本来会被拦下”的提交,用来排查误报;确认无碍后转强制。同一次会话里被连续拦两次,第三次会放行,避免 Claude 彻底卡死。
审查系统本身也要被持续考核:合并后被回滚的比例、负责人合并前打回的比例,以及一批长期保持稳定的代码作为对照。在正式评测里,他们会把仓库还原到历史事故发生时的状态,给出”一句话标准答案”,只有准确指出那个 Bug 的发现才得分;同时把发现分为必须修复、建议修复与历史遗留——最后一种不追究当前提交者。他们还会分开统计原始发现、验证后与最终评审的召回率,避免用一个端到端分数掩盖”中途丢 Bug”的问题。
漏掉的 Bug 变规则
在 Claude Code 仓库里,把漏网案例变成规则有两条路径。第一,从人工评审留言与 PR 回滚中提取模式:同一问题至少在两个 PR 里出现、且能从 diff 中识别,才成为候选规则;再派三个 Agent 尝试推翻它,最后由人在 PR 里合并。第二,用三个找 Bug 的工具回放与已知事故相关的 PR:若至少两个工具能发现、而改动量又很小,说明规则库有漏洞,需要补进 REVIEW.md。
不稳定测试也有明确处置:不允许跳过、不允许加等待、不允许重试到通过;找不到根因就删掉测试并写明原因。规则文件、测试与验证脚本定期清理,防止越堆越臃肿。
小结
这套方法的可迁移之处,不在于某个具体工具,而在于三个原则:把验证层当作独立系统来维护;让验证规则处在被审代码够不到的地方;把每一次漏网变成规则,再定期剪枝。做到这些,人的工作就从逐行读 diff,变成定义”完成”的标准并审阅证据——这也是能同时跑很多个 Claude 的前提。想先改善评审体验的团队,可以从给计划与 diff 加一个结构化审阅台开始,例如我们介绍过的 Plannotator;至于模型能力本身,可参考 Claude Fable 5.2 的发布记录。