SkillContrast:免训练选择器提升智能体技能重排效果

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 SkillContrast,一种免训练的选择器:它对比检索到的相似技能,保留彼此不同的文本及局部上下文,再交给预训练重排器。在 SameCapRisk-Bench 的 1,235 条请求上,相同单候选输入长度下,它比 TF-IDF 查询选择多出 54-72 个 clean hits,覆盖 2 种检索器与 2 种重排器规模。长度匹配的组件替换实验显示,差异文本是主要贡献来源,上下文影响较小且方向不一。相比输入完整技能正文,该方法减少 51.1-58.8% 的模型输入 token;在 0.6B 模型上 clean hits 少 10-18 个,在 4B 上持平或更高。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

方法思路

相似智能体技能往往共享指令文本,区别在于各自的使用条件。基于查询的文本选择容易保留这些共有指令,却丢掉区分彼此的条件。SkillContrast 的做法是不做训练,直接比较检索到的多个技能,把彼此不同的文本连同局部上下文挑出来,再交给预训练重排器打分。论文把这种候选之间的相对差异视为对查询相关性的补充信号,用于构造更紧凑的重排输入。

评测结果

在 SameCapRisk-Bench 的 1,235 条请求上,作者以 clean hits 为指标——即检索到有用技能、同时没有带出其被标记为有风险的同类技能。在单候选输入长度相同的条件下,SkillContrast 比 TF-IDF 查询选择多出 54-72 个 clean hits,这一结果在 2 种检索器和 2 种重排器规模上均成立。为确认收益来源,作者做了长度匹配的组件替换实验,结果显示差异文本是主要贡献因素,而上下文带来的效应较小且方向混合。

效率与规模差异

与直接输入完整技能正文相比,SkillContrast 把模型输入 token 减少 51.1-58.8%。代价随重排器规模变化:在 0.6B 模型上 clean hits 少 10-18 个,而在 4B 模型上持平或更高。这说明压缩输入带来的损失并非固定,较大模型更能承受这种精简后的输入。论文共 5 页、2 图、3 表,归入信息检索与人工智能方向。

为什么值得看

用更少 token 达到或超过全量输入的重排效果,为智能体技能检索的上下文压缩提供了可复现的免训练方案。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源SkillContrast: Difference-Guided Text Selection for Agent Skill Reranking

关键事实

  • SkillContrast 是一种免训练选择器,通过对比检索到的技能、保留差异文本及局部上下文供预训练重排器使用。[1]

  • 在 SameCapRisk-Bench 的 1,235 条请求上,相同单候选输入长度下比 TF-IDF 查询选择多出 54-72 个 clean hits。[1]

  • 实验覆盖 2 种检索器和 2 种重排器规模。[1]

  • 相比完整技能正文,模型输入 token 减少 51.1-58.8%;0.6B 下 clean hits 少 10-18 个,4B 下持平或更高。[1]

  • 长度匹配的组件替换实验表明差异文本是主要贡献来源,上下文效应较小且混合。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。