论文提出行为定位法,用少量轨迹位置监督软提示

论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

这篇论文关注工具调用智能体的技能注入问题:长文本技能描述会推高计算开销,软提示虽紧凑,但用整条成功轨迹训练会带来多余的行为改变。作者发现文本技能的作用集中在少数轨迹位置上,于是提出 Behavioral Localization:对比带技能与不带技能的冻结智能体,挑出既提高成功 token 概率、又明显改变下一 token 分布的位置,用这些位置监督一段短软提示。在 SpreadsheetBench 上,以冻结的 Qwen3.6-35B-A3B 智能体测试,前 10% 轨迹位置覆盖了 96.12% 的正向技能增益;共享提示设置下成功率从全轨迹的 30.36% 升至 36.79%,任务特定条件下用前 10% 定位位置达到 57.38%,高于完整文本技能与 on-policy OPCD 基线。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

文本技能的成本问题

工具调用型智能体可以借助文本形式的技能描述扩展能力,但技能描述一旦变长,推理时的计算开销也随之上升。软提示被视为一种更紧凑的替代方案,它不必携带长篇文字说明。不过论文指出,如果直接拿整条成功轨迹去学习软提示,可能引入并不必要的行为改动,因为轨迹中并非每一处都与技能的作用相关。作者由此提出一个观察:文本技能真正产生效果的位置,在整条轨迹中只占很小一部分,效果高度集中。

对比有无技能定位位置

基于上述观察,作者提出行为定位方法。具体做法是把冻结的智能体分别在带文本技能和不带文本技能两种条件下运行并加以比较,找出同时满足两个条件的位置:技能使成功词元的出现概率上升,并且对下一个词元的分布产生了有实质意义的变化。这些被筛出的位置随后被用来监督一个较短的软提示,而不是让整条轨迹都参与监督。这样做的目的是把监督信号集中在技能真正起作用的行为片段上,减少无关位置带来的干扰。

定位监督的实验结果

实验在 SpreadsheetBench 上进行,所用智能体为冻结的 Qwen3.6-35B-A3B。结果显示,轨迹中排名靠前的那一小部分位置覆盖了技能带来的绝大部分正向增益。在共享提示的设置下,只对筛选出的位置做选择性监督,成功率高于用整条轨迹监督的做法。在任务特定条件下,使用定位得到的那部分位置进行监督,成绩超过了完整文本技能,也超过了在策略的 OPCD 基线。作者据此认为,少量与行为相关的位置就足以对软技能形成有效监督。

适用范围与限制

论文的结论建立在单一基准与单一冻结智能体之上,实验围绕 SpreadsheetBench 与 Qwen3.6-35B-A3B 展开,方法本身依赖对带技能与不带技能两种运行状态的比较来筛选位置。对读者而言,这项工作给出的启示是:把文本技能压缩成软提示时,监督信号的选择比数量更重要,聚焦少数行为相关位置可能比覆盖整条成功轨迹更划算,同时也能降低长技能描述带来的计算成本。

为什么值得看

想给工具调用智能体加技能又不想背长文本开销的团队,可看这套只监督少数关键位置的轻量做法。

Qwen智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Robust Soft Skill Adaptation via Behavioral Localization in Tool-Using Agents

关键事实

  • 论文提出 Behavioral Localization,通过对比冻结智能体有无文本技能,定位技能既提升成功 token 概率又明显改变下一 token 分布的位置。[1]

  • 在 SpreadsheetBench 上使用冻结的 Qwen3.6-35B-A3B 智能体,前 10% 轨迹位置覆盖 96.12% 的总正向技能增益。[1]

  • 共享提示设置下,选择性监督把成功率从全轨迹的 30.36% 提升到 36.79%。[1]

  • 任务特定条件下,使用前 10% 定位位置达到 57.38%,超过完整文本技能和 on-policy OPCD 基线。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。