CIPR:跨接口一致性训练提升LLM智能体鲁棒性
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载接口依赖问题
论文指出,后训练会把LLM智能体的能力绑定到它被训练时使用的接口上。对接口做保持语义的扰动,例如重命名某个动作或改变记号,底层任务并没有变化,但智能体完成该任务的表现会变差。作者进一步说明,如果对每个样本独立打分,接口随机化只能把这种依赖从单一接口扩大到训练接口的分布范围,遇到分布外的扰动时智能体依然会退化。这一观察构成了论文要解决的问题:如何让策略在接口变化时保持稳定。
CIPR 的做法
作者提出跨接口策略正则化(CIPR),这是一种自监督目标。具体做法是把动作名称替换成不携带信息的标识符,并把每个训练样本以两种接口呈现,在构造上保证两种接口里的等价动作能够对应起来。CIPR 惩罚的是两种接口下所诱导出的动作分布之间的 KL 散度,通过这一约束让策略在两种接口上表现一致。论文在监督学习和强化学习两种后训练方式中都对 CIPR 做了评估,结果显示它能够提升鲁棒性。
函数调用上的效果
在智能体函数调用任务上,作者给出了量化结果:留出的接口扰动会让一个经过后训练的智能体准确率下降接近 25%。加入 CIPR 后,这部分下降被恢复 10.5%,同时智能体在未改变的接口上的准确率保持完好,没有因为正则化而受损。论文提交于 2026 年 10 月 14 日,作者为 Artin Tajdini、Manpreet Kaur 与 Peng Qi,编号 arXiv:2610.20576,归类于 cs.LG、cs.AI 与 cs.CL。
为什么值得看
智能体换接口就掉点近25%,CIPR用自监督正则恢复10.5%,做agent后训练的人值得看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
