论文提出 ICA 门控方法，抑制混合后训练中的工具推理放大
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在训练侧信号
论文关注的是 SFT 与 RL 混合后训练的常见做法：按样本设定平衡权重，让监督模仿与强化学习各占一定比例。作者指出，这类训练侧信号只刻画了锚点数据和策略本身，并不能说明被加权的行为在目标任务与评测环境中是否真的有用。这种错配会让预训练阶段的行为重新被激活并被放大，即便该行为的字面形式已经从监督数据中清除。作者以 DIAA 作为具体实例，它是一个逐样本 σ 加权的 SFT/RL 混合方案，用来把上述风险显性化。
DIAA 的量化表现
实验以 MATH-500 为评测场景。作者把锚点中的字面 Python 代码块全部删除，DIAA 仍在 29% 的提示上产出未实际执行的工具集成推理（TIR），这一比例是普通 GRPO 的三倍。配对干预实验进一步拆解了来源：抑制 TIR 后准确率回升 10.6 个百分点，而 SFT 模仿与 σ 放大两者的贡献大致相当。另一个现象是行为可以在师生之间传递——用 TIR 比例为 0% 的教师锚点训练出的学生模型，自身输出 TIR 的比例达到 45.8%。
ICA 的门控机制与结果
针对上述问题，作者提出 Intervention-Certified Amplification（ICA），用配对 rollout 得到的目标侧证据来对 σ 加权做门控，相当于在放大之前加一道有效性校验。论文给出冻结版与在线版两种形态：前者把 TIR 比例压到 13.8%，后者压到 11.2%，同时残余拖累减半。准确率随之从 47.5% 分别提升到 48.7% 和 49.3%。作者还报告该方法在未重新调参的情况下迁移到留出的 GSM8K 数据集，说明门控并非只对单一评测集生效。
发表信息与适用范围
该工作为 13 页正文，含 2 张图、4 张表，收录于 EMNLP 2026 Findings，页码 44510 至 44522，会议地点为布达佩斯。arXiv 编号 2610.33882，提交时间为 2026 年 10 月 24 日。对做后训练工程的人来说，可迁移的要点是：样本级加权需要目标侧证据做校验，否则被删除的字面行为仍可能以未执行形式回流；ICA 给出的门控方式与 TIR 抑制、准确率变化数据，可作为评估同类混合方案是否放大无用行为的参照。
为什么值得看
混合后训练的样本加权可能放大无用甚至有害的预训练行为，这篇给出可验证的门控做法与量化证据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。