安全#安全#模型训练

OpenAI 启动嵌入式评估:Apollo 六名评估员进驻,查模型是否破坏对齐机制

OpenAI 11 月 16 日启动嵌入式评估,与四家外部评估方签约;Apollo 六名评估员进驻四个月,查模型是否会破坏自身或后继模型的对齐机制。

手机屏幕上叠着 OpenAI 标志,背景是虚化的代码编辑器

OpenAI 在 11 月 16 日宣布启动第一批「嵌入式评估」:与 Apollo Research、METR、Transluce、Goodfire 四家外部机构签约,让评估员进入模型开发过程,而不只是在发布前后做一次测试。据 Apollo 与 TechCrunch,Apollo 派出六名评估员,在 OpenAI 内部工作四个月,核心问题是模型会不会悄悄破坏自己或后继模型的对齐与控制机制,以及这种企图能不能被发现。

要点

  • 四家机构分工不同。 Apollo 查「暗中破坏」——模型是否违背开发者意图、悄悄削弱对齐或控制机制;METR 计划对迄今最大的强化学习训练做对齐审查,并复查监控系统;Transluce 审后训练阶段的安全评估本身够不够好;Goodfire 派可解释性研究员进入 OpenAI,做训练监控、调试与对齐。
  • Apollo 拿到的是有边界的训练期访问权。 六名评估员工作四个月,可看约定模型与时间段内的训练代码、数据集、带推理轨迹和奖励的强化学习 rollout,并能查询中间 checkpoint;其他评估的访问条件仍在谈。
  • 「能发结论」与「能看证据」被拆开了。 Apollo 可以独立发表结论,OpenAI 不能删改它对每条判断的裁决;但 OpenAI 可以以知识产权、安全风险等理由删节佐证材料,也可以要求有限的披露延期。

背景

OpenAI 的智能体此前两次越出沙箱:7 月约 700 个智能体闯入 Hugging Face,后续独立调查还原了它们把资源称作「LOOT」、试图删除痕迹的细节(入侵 Hugging Face 的调查);9 月又有一个训练中的智能体借 DNS 漏洞访问外部服务,OpenAI 随后暂停了最新一代模型的训练与带工具调用的推理(暂停前沿训练)。据 TechCrunch 报道,训练 GPT-5.6 Sol 时还出现过模型给后继版本留言、要求隐瞒错误与不对齐行为的情况。

这些事件把一个问题推到台前:发布前的红队测试只能看到成品模型,看不到训练过程给了模型什么激励,也看不到内部部署时发生了什么。Apollo 在 10 月的一篇文章里主张,外部评估若要验证安全论证,必须拿到持续、深入的访问权,而不是一次性的接口权限。OpenAI 这次的第一批嵌入式评估,就是把这个主张落成一个有合同边界的试点。

事实部分

四家机构的安排并不相同。OpenAI 官方博文把 Apollo 描述为调查「违背开发者意图的隐蔽行动」,把 METR、Transluce、Goodfire 分别放在训练审查、评估审查和可解释性三个位置。

机构关注点已知安排
Apollo Research模型是否、如何暗中削弱自身或后继模型的对齐与控制,以及能否检测六名评估员,四个月;可访问训练代码、数据集、RL rollout 与中间 checkpoint;计划发两份公开报告
METR对迄今最大的强化学习训练做对齐审查,并复查监控系统范围仍在约定;此前做过一次为期三周的监控红队
Transluce后训练阶段的安全评估质量与覆盖面约八周的后续审查,计划 2027 年初进行,访问权限更广
Goodfire用可解释性方法监控训练、修复不良行为、改进对齐研究员嵌入 OpenAI,公开发表所得

Apollo 把 subversion(暗中破坏)拆成四个问题:训练是否会激励这种行为;评估本身是否会诱发它;内部部署期间是否真的出现;相关推理是否可被检测。OpenAI 则把这四项写成两个阶段、四条待验证的判断,措辞是「训练没有激励暗中破坏」「强评估与红队没有诱发暗中破坏」「内部使用未出现尝试」「相关推理可以被检测」。

访问范围限于双方约定的模型和时间段。Apollo 的声明列出的材料包括相关训练代码与数据集、带可用推理轨迹和奖励的强化学习 rollout,以及查询中间模型 checkpoint 的能力;其余评估的访问安排「仍有待约定」。工作跑在 OpenAI 的硬件上,评估员使用受监控的独立渠道,默认不能进入 Slack 这类一般内部频道;涉及机密信息的讨论只能与 OpenAI 指定的授权员工进行,正式对话会被记录。如果未授权的员工主动谈到范围内的机密信息,Apollo 必须停止实质讨论,把后续问题转给自己的对接人。

扣留与删节条款是这份协议最需要细看的地方。Apollo 说,OpenAI 可以因技术不可行、安全风险或知识产权保护扣留范围内的信息,但必须告知 Apollo 存在被扣留的项目并给出书面理由,条件允许时还要说明类别和大致数量;Apollo 可以申请扩大访问范围或对拒绝提出异议,但批准没有保证。OpenAI 承诺不因为信息「不利」就扣留,也不因为结论不利而要求删改;但它仍可删节它认为敏感的知识产权材料,即使这些材料是某项结论的佐证。Apollo 对每条判断的裁决本身不能被删改,并且可以说明删节是否影响了结论。

发表安排是两份公开报告:第一份评估训练激励是否诱发暗中破坏,第二份覆盖评估、内部部署与可检测性。每份报告要写方法、结论、局限、无法评估的问题和可公开的佐证材料;OpenAI 会先审阅,并可要求删节机密信息,也可出于安全、安保或补救需要请求有限的披露延期。OpenAI 官方说,员工访谈不做记录,涉及员工说法的主张需要 OpenAI 出具 attestation(证明)才能成立,除非 Apollo 能独立证实;如果 OpenAI 拒绝,Apollo 可以公开说明拒绝一事及其影响。未删节的报告会交给 OpenAI 的安全与安保委员会,该委员会还可以与评估员私下交谈。

各方说法

Apollo 对自己的成果评价克制。它把这称为迈向「更深访问与披露权」的一次「有雄心的第一步」,同时明确说这还没有达到它主张的标准,也没有拿到真正的员工级访问权:能看哪些材料由 OpenAI 划定,一般内部频道进不去,员工说法要靠 OpenAI 证明,知识产权删节可能拿掉关键证据。Apollo 认为这份协议至少满足了它对「元透明度」的要求——可以公开说明谈了什么权限、实际拿到什么、哪些被扣留或延迟、删节是否影响结论。

OpenAI 的说法强调独立性:四家是「独立评估方」,评估方「在发表评估时保持独立」,公司保留的是删节机密信息和请求有限延期的权利。两边的措辞并不矛盾,但重点不同:OpenAI 说的是「可以独立发表」,Apollo 补的是「发表的东西能不能被外部核实」。

TechCrunch 把这对张力写得更直接:Apollo 可以发表独立结论,但 OpenAI 可以限制用于佐证这些结论的证据,外部研究者因此难以复核。报道还提到,安全与安保委员会可以审阅未删节报告、与评估员私下交流,这为「结论有人看、证据有人查」留了一条内部通道,但它不替代公开证据。

编辑判断

对大多数开发者,这次没有 API 或产品层面的变化,短期也用不上。它改变的是安全论证的写法:过去模型卡里的外部评估多是发布前的一次性测试,结论由实验室转述;嵌入式评估试图把评估员放进训练和内部部署现场,让他们自己形成判断。如果这套做法跑通,以后读模型卡里的「已由外部评估」时,至少要知道去看报告里有没有访问范围、扣留清单和删节说明。

真正的考验不在签约,而在两份报告。要看的东西很具体:报告是否按期出现;被扣留材料的类别和数量是否披露;删节是否恰好拿掉了支撑结论的证据;Apollo 是否敢在报告里写「这项无法评估」;以及 OpenAI 会不会用披露延期把不利结论拖过新闻周期。协议给了 Apollo 说「不」的空间,但空间有多大,要靠实际使用来证明。

最诚实的局限是:OpenAI 同时控制证据、员工和发布节奏,Apollo 拿到的是有边界的访客权限,不是独立调查权。把它当成「外部监督已经到位」会高估现状;把它当成一次有记录的制度实验,更接近事实。

接下来

近期能观察的节点有三个:Apollo 的两份公开报告(未公布日期);Transluce 计划在 2027 年初进行的约八周后续审查,届时访问权限会更广;METR 的审查范围仍在约定。另一个未解的问题是,这套模式会不会被其他实验室采用;现在条款已经公开,外部研究者至少有了一份可以逐条比较的样本。