注册

研究：无关技能增至千条时，LLM智能体技能加载召回率大幅下降

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一项 arXiv 论文用 SkillsBench 任务与固定金标技能做对照，只增加无关技能，观察智能体能否继续加载相关技能。结果显示技能路由崩溃：无关技能达到 1000 条时，已加载技能召回率从 73.6% 降至 27.4%，零加载率从 9.3% 升至 51.6%；而同一技能库中改用显式选择，召回率仍为 73.9%。加载其他技能（包括金标技能的合理替代项）过于罕见，无法解释这一下降。仅遮蔽无关技能的描述可大体恢复加载；元数据保留时，即使要求智能体先规划技能使用，召回率仍低于预选。作者据此指出描述带来的语义干扰，以及技能选择与任务执行竞争时的指令干扰，并评估显式预选作为缓解手段的覆盖范围与延迟权衡。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

实验怎么做的

论文把 SkillsBench 的任务及其金标技能固定不变，只往技能库里不断加入无关技能，以此检验按需加载技能的设计能否随规模扩展。这种控制变量的做法把变量锁定在技能库规模上，避免任务难度或技能质量变化干扰结论。作者把这一现象称为技能路由崩溃：随着无关技能增多，智能体加载的技能越来越少，甚至完全不加载，而相关技能其实一直可用。论文共 22 页，含参考文献与附录，并提供了代码链接。

召回率的具体衰减

量化结果给出了衰减幅度：当无关技能数量达到 1000 条时，已加载技能的召回率从 73.6% 下滑到 27.4%，零加载率则从 9.3% 攀升到 51.6%。作为对照，从同一技能库中改用显式选择，召回率仍能维持在 73.9%，几乎不受无关技能数量影响。作者还排查了另一种可能解释——智能体是否改去加载了别的技能，包括金标技能的合理替代项；这类情况出现得过于罕见，不足以说明召回率为何下降。

干扰来自哪里

进一步实验指向两个来源。若只把无关技能的描述遮蔽掉，技能加载大体可以恢复，说明描述文本带来了语义干扰。而在元数据保持完整的情况下，即便明确要求智能体先规划技能使用，召回率仍低于预选方案，这被归因于技能选择与任务执行相互竞争时产生的指令干扰。也就是说，问题不完全是智能体没能力挑对技能，而是挑选动作本身与干活动作在同一个流程里互相挤压。

缓解思路与适用边界

作者把显式预选当作一种可落地的缓解手段加以评估，同时考察它的覆盖范围与延迟代价，这两项权衡决定了它是否适合实际部署。论文的结论面向技能库不断增长的智能体，为技能协议设计和评测方法提供参考：在技能数量上升后，隐式路由的可靠性会明显退化，需要重新考虑技能如何被选择与暴露。材料未给出预选方案的具体延迟数值与覆盖比例。

为什么值得看

技能库变大后智能体可能悄悄不加载技能，文中给出量化衰减与预选缓解方案，做 Agent 的人值得看。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Lost in Implicit Routing: How LLM Agents Fail to Load Relevant Skills at Scale

关键事实

  • 无关技能达到 1000 条时，已加载技能召回率从 73.6% 降到 27.4%，零加载率从 9.3% 升到 51.6%[1]

  • 同一技能库中改用显式选择，召回率仍保持 73.9%[1]

  • 仅遮蔽无关技能的描述可大体恢复技能加载[1]

  • 元数据保留时，要求智能体先规划技能使用，召回率仍低于预选[1]

  • 论文还评估了显式预选作为缓解手段的覆盖范围与延迟权衡[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论