研究提出基于SLM的智能体任务意图校验方法
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载每次调用都要核验
带工具的智能体通过工具调用来获取数据、操作外部系统。随着这类系统横向扩张,交互次数随之上升,于是产生了对逐次调用进行自动化监督的需求,且这种监督要能在低延迟条件下运行,或者部署在本地。传统的授权机制只能判断某个智能体是否有权调用某个工具,却无法判断其背后的选择逻辑:这次工具选择究竟是不是朝着完成当前任务意图迈出的合理且相关的一步。因此,一次被放行的调用仍可能偏离任务意图,比如偏离的智能体可能让调用走偏,或者推动其他智能体组合出一批与任务意图不符的调用。基于这一点,论文主张每一次调用都需要被核验,而不是只在入口处做一次授权判断。
小模型充当相关性分类器
研究考察的是小语言模型能否承担上述核验工作。具体做法是让小语言模型扮演任务与工具之间的相关性分类器:针对被分配的任务,对每一个被选中的工具单独评估,输出一个相关性信号,供下游环节执行处置。这种设计把判断对象落在单次工具选择与任务意图的匹配程度上,而不是笼统地判断智能体整体行为是否合规。论文为此构建了一个新数据集,其中的任务需要多个工具,而这些工具分布在不同的模型上下文协议服务器上,用来检验模型在工具来源分散时的判断能力。
三类优化手段并用
在模型优化方面,论文采用了三条路径:提示优化、监督微调,以及通过 GRPO 进行的强化学习,目的是让小语言模型在这一任务上得到优化与专门化。这三类手段对应不同的介入层次,提示优化不改变模型参数,监督微调依赖标注数据调整权重,强化学习则借助 GRPO 进一步塑造模型输出相关性判断的行为。论文的落点是把小语言模型专门化为任务与工具意图匹配的判别组件,使其能够在低延迟或本地部署的条件下,对每一次工具调用给出可被下游使用的相关性信号。
为什么值得看
为AI智能体工具调用提供轻量级意图校验方案,防范恶意调用偏离,保障系统安全。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
