OpenAI 激活探针上线

OpenAI 2026 年 11 月 2 日在官方 Alignment 博客发布《Training activation classifiers for safety and alignment》，首次系统披露一项已在生产环境运行的监控技术：激活分类器（activation classifiers，内部称 probes，探针）。自 GPT-5.6 起，这类轻量模型被接到自家最强模型的内部激活上，对所有助手回复逐 token 流式打分，一旦分数越过阈值就停止向用户输出、暂停生成，并拦截未确认安全的工具调用，转交一个推理模型做完整复审。按官方说法，探针对越狱攻击比体量更大的文本分类器更鲁棒，而且探针的准确率会随着被监控模型能力的提升而提高——这两条是全文最受关注、也最值得追问的主张。

要点

激活探针读的是模型内部残差流（residual stream）激活——通常是模型中段某一层的向量，直接输出二分类 logits；探针与推理引擎同进程运行，每个采样 token 返回一个分数，官方称这让它比外部文本分类器更容易做到 fail-closed（失效即关断）。
训练规模：单只探针最多用 100 万条训练消息（合成数据与去标识真实对话混合，标签由最强推理模型当 LLM 裁判），每个超参配置至少训 32 个随机初始化——初始化随机性约占探针性能方差的 85%，所以靠多撒种子挑最好的一只。
官方自述两条硬限制：探针靠有监督训练，只能检测「显式训练过的」危害类别；探针绑定基座权重，换一个预训练基座必须重训，权重漂移后还需周期性重训。

背景

探针不是凭空出现的。OpenAI 10 月 29 日发的《How we detect frontier model misalignment》把内部监控画成一个五层漏斗：激活探针做第 0 层高召回初筛，之后是模型复审、调查智能体、自动化取证，最后到人工响应（最高优先级警报 15 分钟内呼叫到人）。11 月 2 日这篇相当于把第 0 层单独拆开讲透了。本站此前已跟进两条相关线：METR 与 Redwood 10 月对这套内部监控的红队评估，找到了包括能隐藏「数百个近期动作」在内的多条绕过路径（见我们的报道）；以及 10 月 23 日的前沿训练环境安全报告，红队智能体在沙箱栈里找到成链 VM 逃逸（见我们的报道）。学术界这条路也已铺了两年：Anthropic 的 Constitutional Classifiers 在 2026 年 1 月的升级版里把线性探针与外部分类器集成使用，换来了约 40 倍的筛检成本下降；而 3 月的 Trojan-Speak 论文用对抗微调让模型绕过文本分类器（逃避率 99% 以上、能力损失不到 5%），同时明确指出「激活级探针能大幅提升对这类攻击的鲁棒性」——OpenAI 这次的选择与这条研究线互相印证。

工程细节

探针本体很小：输入是残差流激活向量，输出二分类 logits，架构是在 Attention probe（Kantamneni et al. 2025）基础上加了 MLP、QV-attention 和一个指数移动平均（EMA）。EMA 是流式部署的关键——相比滚动均值，它把探针的流式状态内存从 O(窗口大小 × 注意力头数) 降到 O(注意力头数)，官方称预测力「基本无差别」。训练目标用「滚动 softmax」代替逐前缀取硬最大值，官方实验显示这能让召回率/误报率帕累托前沿略微改善。选型时还跑了一组鲁棒性对照：MultiMax 架构对「良性前缀 + 违规后缀」这种填充攻击明显更敏感，而 OpenAI 用的指数衰减注意力架构受影响小得多（Figure 1）。线性探针、协方差探针、全注意力探针都试过，没有一个在预测性能上胜出。评估走两条曲线：小规模精标数据集上测召回率，部署规模数据集上测升级率（escalation rate），合起来画出召回-升级曲线作为上线依据；越狱鲁棒性则靠自动化加人工红队。

维度	数字	出处
单探针训练消息上限	100 万条	官方博客，2026-11-02
每配置随机初始化	≥ 32 个	官方博客，2026-11-02
初始化方差占比	约 85%	官方博客脚注，2026-11-02
训练轮数	< 5 epochs（AdamW）	官方博客，2026-11-02
流式状态内存	O(注意力头数)（EMA 后）	官方博客，2026-11-02

越狱鲁棒性

「探针比文本分类器更抗越狱」的机制解释，官方给了两层。第一层是结构性的：文本分类器读的是表面 token，模型内部的编码内容（比如模型自己「理解」的某种变换后的表达）外部分类器读不懂，探针直接读内部激活，绕过了这层转换——Trojan-Speak 论文里那种「模型学会了谁也看不懂的秘密协议」的攻击，对文本监控几乎不可见，对激活探针却仍在信号空间里。第二层是实验性的：官方称在红队测试中，探针总体比基于内容的分类器更鲁棒，尤其是对那些没有专门针对探针优化的越狱。但官方同样写明，真实攻击会适应安全栈的信号，这正是他们持续红队的原因——这句话反过来说就是：一旦攻击者拿到了探针的反馈信号，这个鲁棒性优势未必守得住。

「准确率随模型能力提升」这条更微妙。原理上讲得通：探针的输入是被监控模型的激活，模型越强，内部表征里的「违规意图」特征可能越清晰，探针越容易读。官方称在自家前沿模型上这个趋势仍在继续。但要留意这说的是分类器质量，不是被监控模型本身变安全了——一个能力更强但意图违规的模型，探针的读出效果更好，这和模型实际行为更安全是两回事。这句话在生产语境里也埋着一个依赖：探针的可用性被绑在了「持续训练更强基座」这条路上，基座换了，探针就归零重训。

编辑判断

对做 AI 安全工程的人，这篇的价值在架构而不在结论：便宜的逐 token 探针做高召回初筛、贵的推理模型做低误报终审，中间用阈值和升级率曲线校准——这个两层结构是可以照着设计的，Constitutional Classifiers 的级联也是同一个思路。对普通开发者，直接影响很小：这是 OpenAI 自家基础设施的内部监控，不改变 API 行为的可见部分（截停和复审对用户表现为一次拒绝或延迟）。

要诚实说的有三点。第一，所有效果数字都出自 OpenAI 自己的内部实验，图注也写明「不一定代表已部署的分类器」，没有第三方复核——METR 和 Redwood 10 月的评估已经证明，这套监控的覆盖率和绕过路径，外部机构进去三周就能找出问题。第二，「只能检测显式训练过的类别」意味着探针对新型危害是盲的，它拦截的是已知模式，不是未知风险。第三，探针绑定基座权重这个工程现实，意味着每出一个新基座模型就要重训整批探针，安全层的更新节奏从此被基座的发布节奏拖着走。值得盯的后续：OpenAI 说在持续扩大探针覆盖的策略集合，下次系统卡或 Preparedness 框架更新时，探针的阈值和升级率数据会不会公开，是检验这套系统透明度的下一个窗口。