CIPR:跨接口一致性训练提升LLM智能体鲁棒性

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇arXiv论文提出跨接口策略正则化(CIPR),针对LLM智能体后训练后过度依赖特定接口的问题。语义不变但接口扰动(如重命名动作、改变记号)会让智能体表现变差,逐样本独立打分只能把依赖从单一接口扩展到训练接口分布。CIPR用无信息标识符替换动作名,把每个训练样本以两种接口呈现,等价动作按构造对应,并惩罚两种接口下动作分布的KL散度。在监督与强化学习后训练中,该方法提升鲁棒性;在智能体函数调用任务上,留出接口扰动使后训练智能体准确率下降近25%,CIPR恢复10.5%,且未改变接口上的准确率不受影响。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

接口依赖问题

论文指出,后训练会把LLM智能体的能力绑定到它被训练时使用的接口上。对接口做保持语义的扰动,例如重命名某个动作或改变记号,底层任务并没有变化,但智能体完成该任务的表现会变差。作者进一步说明,如果对每个样本独立打分,接口随机化只能把这种依赖从单一接口扩大到训练接口的分布范围,遇到分布外的扰动时智能体依然会退化。这一观察构成了论文要解决的问题:如何让策略在接口变化时保持稳定。

CIPR 的做法

作者提出跨接口策略正则化(CIPR),这是一种自监督目标。具体做法是把动作名称替换成不携带信息的标识符,并把每个训练样本以两种接口呈现,在构造上保证两种接口里的等价动作能够对应起来。CIPR 惩罚的是两种接口下所诱导出的动作分布之间的 KL 散度,通过这一约束让策略在两种接口上表现一致。论文在监督学习和强化学习两种后训练方式中都对 CIPR 做了评估,结果显示它能够提升鲁棒性。

函数调用上的效果

在智能体函数调用任务上,作者给出了量化结果:留出的接口扰动会让一个经过后训练的智能体准确率下降接近 25%。加入 CIPR 后,这部分下降被恢复 10.5%,同时智能体在未改变的接口上的准确率保持完好,没有因为正则化而受损。论文提交于 2026 年 10 月 14 日,作者为 Artin Tajdini、Manpreet Kaur 与 Peng Qi,编号 arXiv:2610.20576,归类于 cs.LG、cs.AI 与 cs.CL。

为什么值得看

智能体换接口就掉点近25%,CIPR用自监督正则恢复10.5%,做agent后训练的人值得看。

智能体强化学习论文

信源1 家

  1. [1]arXiv cs.AI一手信源One Task, Many Interfaces: Simple Cross-Interface Consistency Training Improves LLM Agent Robustness

关键事实

  • 论文提出跨接口策略正则化(CIPR),用无信息标识符替换动作名,并以两种接口呈现同一训练样本[1]

  • CIPR惩罚两种接口下动作分布之间的KL散度,使策略行为保持一致[1]

  • 在智能体函数调用任务上,留出接口扰动使后训练智能体准确率下降近25%[1]

  • CIPR恢复10.5%的准确率,同时未改变接口上的准确率不受影响[1]

  • 该方法在监督学习和强化学习两种后训练设置中均提升鲁棒性[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。