OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载新增的一层防御
OpenAI 在博客中说明，其模型安全采用纵深防御思路：除训练模型本身行为安全外，还部署额外监控器，在检测到异常时中止模型后续动作。此前这类监控主要由运行在用户提示和助手回复上的文本分类器承担。从 GPT-5.6 开始，这一体系多了一层：激活分类器覆盖全部助手回复。所谓激活分类器又称 probe，是轻量机器学习模型，输入不是文本，而是大模型自身的内部激活，也就是其“神经模式”，据此判断当前模型活动是否失准或存在其他不可取情形，例如用户活动带有有害意图。
相对文本分类器的优势
材料列出 probe 相较外部文本分类器的几项长处。其一，它支持流式判定，因此可以在一个违反策略的模型回合生成到一半时就将其阻断，而不必等整段输出完成。其二，面对越狱尝试，它比体量大得多的文本分类器更稳健。其三，它的运行效率明显更高。此外，probe 的准确率通常与被监控模型的能力同步提升：用更强模型的激活训练出的 probe，本身就是更强的分类器。这意味着监控层的能力可以随基座模型迭代而水涨船高。
依赖标注与权重绑定
材料同时指出 probe 的根本限制：它依赖带标签的训练数据，因此只能用来发现已知且可测量的不良活动类型，对全新类型的问题缺乏覆盖。运维层面还有与模型前向计算紧耦合带来的约束：在某个模型激活上训练的 probe，无法直接用于权重初始化不同的另一个模型，每换一个预训练基座就需要重新训练。即便在同一基座模型家族内，随着权重偏离训练 probe 时所用的检查点，probe 的表现也会下降，因此需要周期性重训。
部署范围与体系位置
OpenAI 表示已将 probe 用于其最强模型的内部与外部流量。它是内部失准监控系统的一个组件，与该系统中的模型评审、自动调查和人工响应并列。博客后续部分还介绍了方法细节与若干重要发现，但材料在此处截断，未给出具体数据。
为什么值得看
揭示前沿模型安全监控从输出文本转向模型内部激活，并给出该方案的能力边界与运维代价。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。