研究提出基于SLM的智能体任务意图校验方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对配备工具的AI智能体可能偏离任务意图发起调用的问题,该研究探索用小语言模型(SLM)作为分类器,独立评估每次工具选择与任务的关联度并输出校验信号。研究构建了横跨不同MCP服务器的多工具任务数据集,通过提示优化、监督微调及GRPO强化学习对SLM进行专门优化,以实现低延迟、可本地部署的单次调用监督。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

每次调用都要核验

带工具的智能体通过工具调用来获取数据、操作外部系统。随着这类系统横向扩张,交互次数随之上升,于是产生了对逐次调用进行自动化监督的需求,且这种监督要能在低延迟条件下运行,或者部署在本地。传统的授权机制只能判断某个智能体是否有权调用某个工具,却无法判断其背后的选择逻辑:这次工具选择究竟是不是朝着完成当前任务意图迈出的合理且相关的一步。因此,一次被放行的调用仍可能偏离任务意图,比如偏离的智能体可能让调用走偏,或者推动其他智能体组合出一批与任务意图不符的调用。基于这一点,论文主张每一次调用都需要被核验,而不是只在入口处做一次授权判断。

小模型充当相关性分类器

研究考察的是小语言模型能否承担上述核验工作。具体做法是让小语言模型扮演任务与工具之间的相关性分类器:针对被分配的任务,对每一个被选中的工具单独评估,输出一个相关性信号,供下游环节执行处置。这种设计把判断对象落在单次工具选择与任务意图的匹配程度上,而不是笼统地判断智能体整体行为是否合规。论文为此构建了一个新数据集,其中的任务需要多个工具,而这些工具分布在不同的模型上下文协议服务器上,用来检验模型在工具来源分散时的判断能力。

三类优化手段并用

在模型优化方面,论文采用了三条路径:提示优化、监督微调,以及通过 GRPO 进行的强化学习,目的是让小语言模型在这一任务上得到优化与专门化。这三类手段对应不同的介入层次,提示优化不改变模型参数,监督微调依赖标注数据调整权重,强化学习则借助 GRPO 进一步塑造模型输出相关性判断的行为。论文的落点是把小语言模型专门化为任务与工具意图匹配的判别组件,使其能够在低延迟或本地部署的条件下,对每一次工具调用给出可被下游使用的相关性信号。

为什么值得看

为AI智能体工具调用提供轻量级意图校验方案,防范恶意调用偏离,保障系统安全。

智能体微调强化学习MCP数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Toward SLM-based agentic task-tool intent matching

关键事实

  • 研究提出用小语言模型(SLM)作为分类器,评估智能体每次工具选择与任务意图的相关性。[1]

  • 研究构建了新数据集,包含横跨不同MCP服务器的多工具任务。[1]

  • 采用提示优化、监督微调和GRPO强化学习三种方式优化SLM。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。