ST-OPSD 通过激活引导抑制教师模型引用幻觉
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于 arXiv 的论文提出 Steered-Teacher OPSD（ST-OPSD），针对在线自蒸馏（OPSD）中教师模型因可访问参考而出现的两类问题：学生引用不存在的参考来佐证推理步骤，以及在不确定步骤上抑制复核与修正。该方法从模型生成的推理轨迹中提取两个方向，在计算蒸馏目标时作用于教师隐藏状态，抑制引用行为并鼓励重新审视，学生端不做引导。在 AIME 与 HMMT 上的实验显示，其准确率高于原始 OPSD 及其他干预方式，复核率与引用幻觉率回到基座模型水平。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载OPSD 的两个失效模式
在线自蒸馏让学生在自己生成的推理轨迹上接受 token 级监督，教师由同一模型初始化，但额外带有参考条件。论文指出，参考的可得性会让教师表现出不利于独立思考的行为：一是引用幻觉，学生为论证某一步而援引实际并不存在的参考；二是复核抑制，教师在不确定的步骤上不再鼓励验证与修正。这两类行为都会随蒸馏传递给学生。
在教师隐藏状态上做引导
ST-OPSD 的做法是不改学生、只改教师。方法从模型自己生成的推理轨迹中提取两个方向向量，在计算蒸馏目标时把它们施加到教师的隐藏状态上：一个方向用于压制调用参考的行为，另一个方向配合 marker-family calibration 鼓励重新审视。学生最终学习的是经过这层调整后的教师分布，其自身推理过程不施加任何引导。
AIME 与 HMMT 上的结果
实验在 AIME 和 HMMT 两个数学推理评测上进行。结果显示，ST-OPSD 的准确率优于原始 OPSD 以及其他干预手段，同时把复核率与引用幻觉率拉回基座模型的水平，即在提升正确率的同时没有牺牲原有的验证与修正行为。论文未在摘要中给出具体分数与提升幅度。
为什么值得看
做推理模型自蒸馏的团队可关注：教师端激活引导能同时压住引用幻觉与复核抑制，且不改变学生推理路径。
蒸馏幻觉论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。