Anthropic 向 IETF 提交 AI 训练退出信号草案：robots.txt 里写一个令牌，OpenAI 承诺数月内、微软定档 2027-02-01
Anthropic 向 IETF 提交草案：robots.txt 写一个令牌即声明不训练，微软 2027-02-01 起执行，尚无一家落地。
AI 训练退出信号是一个写在 robots.txt 里的策略令牌：网站把它放进一个 User-Agent 组，前来抓取的 AI 公司读到它，就应把这家站点的全部或指定路径排除出训练数据。2026 年 10 月 30 日，Anthropic 主管标准的技术负责人 Kevin Kelley 把这个设计提交给 IETF，编号 draft-kelley-aipref-training-preference-signal-00，2027 年 5 月 3 日到期。同一天，OpenAI、Google 与 Microsoft 各自在官方博客表态；Anthropic 的态度见于 Kelley 发在工作组邮件列表的帖子，他在帖子里说 Anthropic「has already started implementing support for this draft」（SEJ 指出 Anthropic 新闻室没有发稿）。OpenAI、Google 与 Microsoft 都还没开始执行。
要点
- 机制：robots.txt 新增一个按令牌匹配的组，无新指令、无新语法；
User-Agent: *的通配组不算数，偏好必须点名令牌逐条写出。 - 时间线：Anthropic 说已开始落实支持；OpenAI 承诺「数月内」；Google 目标 2027 年；Microsoft 定档 2027 年 2 月 1 日开始执行。
- 边界：草案只覆盖「改变生成式 AI 模型学习参数」的训练，不约束抓取行为本身，而且「私人协议 MAY 覆盖」——合同仍可凌驾于这个偏好之上。
草案怎么写
这份 10 月 30 日提交的草案是给 IETF AI Preferences（aipref）工作组的个人提案，走 Standards Track。网站的写法与普通 robots.txt 无异，只是组名换成了令牌——草案的 Figure 1 原样照搬：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
这一个组同时声明两件事：整站不用于训练，但新闻资料页开口子；多条规则之间按 robots.txt 的最长匹配规则生效。草案摘要写明它「不引入新的指令名，也不引入新的语法」。令牌就是上面那个 __usage_ai-training——Section 4.1 原文 “This document defines the policy token __usage_ai-training”，草案选这个带双下划线前缀的形式，是为了让误匹配概率尽量低。三处硬规则值得逐条记住：消费者必须按令牌精确匹配（大小写不敏感）；通配组「MUST NOT 被解读为匹配该令牌」，也就是说只写 User-Agent: * 不表达任何偏好；文件里没有令牌组，就等于「未表达偏好」，各家自己的私有令牌照旧按原规则解释，但不得被当成这份草案定义的偏好。
覆盖面也有明确边界：aipref 词汇表把训练定义为「用资产修改生成式 AI 模型的学习参数」，非生成式任务的模型训练不在其内。抓取行为本身更不归它管——草案原话是这个令牌「不是抓取行为的指令」，内容怎么被收集属于另两份工作组文件（词汇表与挂载方式）的范畴。
四家的承诺
时间线经四家原文与两家媒体交叉核对，口径如下。
| 公司 | 承诺 | 出处与日期 |
|---|---|---|
| Anthropic | 已开始落实支持（Kelley：「has already started implementing support for this draft」） | 工作组邮件列表，10-30 |
| OpenAI | 「aim to implement the signal in the coming months」 | 官方博客，10-30 |
| 「aim to support this new control … in 2027」 | Search Central 博客，10 月末 | |
| Microsoft | 2027 年 2 月 1 日起按抓取进度开始执行 | Bing 博客，10 月末 |
OpenAI 补了一句：新信号「不会取代」现有 robots.txt 控制，GPTBot 等既有规则继续有效。Google 的细则更有意思——站点用了共享令牌但没有写 Google-Extended 组时，Google 将「视同发布者已 disallow Google-Extended」；这个 2023 年就有的控制项继续可用，而 Google-Extended 从来不影响搜索收录。Microsoft 的文件最具体：2026 年 12 月 15 日起在 Bing 站长工具开过渡设置，2027 年 2 月 1 日开始执行训练与 grounding 两类偏好，2027 年 3 月 1 日后 NoArchive、NoCache 不再被读作偏好；无论选哪种，站点照常出现在 Bing 搜索结果里。
Meta 是第五家表态的：传播负责人 Andy Stone 说「一次向多家提供商传达这类偏好的共同信号是重要一步」，但没说 Meta 会不会执行——四家给了时间点，Meta 只给了支持的态度。
偏好不等于授权
草案文本里最重的一句是「Private agreements MAY override preferences expressed via this mechanism」。这是 RFC 关键字的标准用法，意思是私人协议可以覆盖这个信号——站点与某家 AI 公司签的授权合同，法律效力高于 robots.txt 里那行字。今年 10 月中旬 Meta 商业条款的争议刚演示过合同与偏好的关系：条款文本里连 robots.txt 一词都不出现，威斯康星大学的 Sobel 当时对 Nieman Lab 说，robots.txt 的遵从「completely voluntary」，像在自家门口挂一块「别看我房子」的牌子。令牌改变的是表达的成本，不是遵从的义务。
腾讯网（通信世界）的评述把它放进「机器可读的版权治理」框架，小标题说得直白：「退出不等于许可，版权治理仍需交易层」——共享令牌让「拒绝」更清晰，却不能替代「许可」，授权、定价与范围仍然要靠合同或集体机制谈；防伪造、验证爬虫是否照做、缓存与镜像怎么算，都是文本回答不了的问题。IT之家的报道只写了机制本身：站长此前要对着每家 AI 公司分别声明偏好，新草案把它合成一次声明。同期还有两条并行的路：RSL 这套授权标准（Reddit、Yahoo、Medium 等已采纳）让站长向爬虫收费，Cloudflare 则默认拦截 AI 爬虫。三条路线对应三种立场：表达偏好、出卖许可、强制拦截。
编辑判断
对运营内容站点的人，这件事的 actionable 部分现在就能做：把令牌组写进 robots.txt 是零成本的，等 2027 年各家开始执行时自动生效——但按草案规则，只写通配组不算表达偏好，想开口子的路径要单独写 Allow。做 SEO 与数据管道的人要注意另一面：这是训练信号，不是搜索收录信号，Google 与 Microsoft 都明确说训练退出不影响搜索排名与收录，把两者混为一谈会误伤自己的流量。
值得存疑的有两点。其一，「已开始落实」没有给出可核查的生效范围——Kelley 自己也说服务全面支持尚需时间，草案直到 2027 年 5 月 3 日过期前都可能大改。其二，无强制力意味着它约束得住守规矩的爬虫，约束不住不在乎偏好的那批；维基媒体点名 OpenAI 流氓智能体的先例说明，真正难缠的抓取从来不等 robots.txt。接下来两个日期值得记：2026 年 12 月 15 日 Bing 过渡设置开放，2027 年 2 月 1 日 Microsoft 开始执行——那将是检验各家承诺成色的一刻。