研究揭示大推理模型首个Token存在安全漏洞
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载推理起点处的拒答塌陷
这项研究把大型推理模型在有害提问下安全性下降的问题，放到 token 级别的位置维度上考察，重点观察拒答信号在生成过程中的变化轨迹。作者发现，脆弱点集中在推理刚开始的位置，并把这一现象命名为 Onset Refusal Collapse（ORC）。具体表现是：面对有害提问时，模型与拒答相关的信号在生成第一个 token 时出现明显跌落，而这种跌落又与随后产生不安全的回答相关联。也就是说，安全失效并不均匀分布在整段输出里，而是集中发生在从理解转向生成的那个临界过渡点上。研究据此提出一种解释：推理模型的安全问题可能源于这一瞬间的断裂，而不是贯穿全程的持续退化。这一观察为后续干预指明了位置：既然跌落发生在起点，那么修正也应落在起点。
只改一个 token 的嵌入
基于上述定位，作者提出 SafeToken，一种在推理阶段执行的轻量干预手段。它的做法是在推理起点精确注入一个经过学习的连续安全锚点，用这个锚点把起步阶段的拒答信号稳住。与依赖额外训练或偏好优化的既有思路相比，SafeToken 的改动面极小：它只更新单个 token 的嵌入，不重新训练模型主体，也不改动推理流程的其他环节。论文报告的结果显示，这一干预能够缓解 ORC 现象，在面向有害提问的基准上提升安全性，同时大体上保留了模型的推理能力。换句话说，安全性的改善没有以明显牺牲解题表现为代价。材料给出的量化信息有限，未披露具体基准名称与提升幅度，因此这里只能陈述其方向性结论。
适用范围与尚未回答的问题
从方法形态看，SafeToken 属于推理时干预，作用对象是生成起点的 token 表示，因此它的适用范围与限制都围绕这一点展开：它针对的是拒答动态在起步阶段的塌陷，而非模型内部知识的改写，也不涉及对训练数据的调整。论文以 18 页、7 幅图、10 张表的篇幅呈现，包含附录，并被 CICAI 2026 接收，预印本编号为 arXiv:2609.18471，提交时间为 2026 年 9 月 16 日。对关注推理模型落地的读者而言，这项工作的意义在于提供了一条低成本路径：不必重训模型，只在关键位置加一个锚点，就可能改善有害提问下的表现。至于该锚点在不同模型规模、不同任务类型上的迁移效果，材料未作说明，需以原文为准。
为什么值得看
揭示了推理模型安全失效的具体机制，提出了低成本且有效的修复方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。