SCOPE 把自然语言策略编译为神经符号谓词程序
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
SCOPE 面向 LLM 智能体的策略执行,把自然语言策略编译成可执行程序:程序由小型模型、确定性抽取器和组合代码构成,并与训练数据联合优化,通过对抗式生成反例,专门针对程序偏离策略之处。在真实策略任务基准上,SCOPE 与提示优化、任务分解、工作流生成三类方法对比,跨任务与跨模型取得最高平均准确率;用最弱执行器优化出的程序无需再优化即可迁移到其他模型,在低成本模型上达到接近前沿推理模型的准确率,且预测更稳定,每条判定都能通过谓词输出解释。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载策略执行的问题起点
论文指出,针对 LLM 智能体的策略执行已从单轮内容审核,转向在多轮对话记录和工具调用轨迹上评估的复合型、应用专属策略。微调后的护栏模型效率高,但在复合策略上表现下降;以 LLM 充当评判者的做法准确率更高,却带来较高的推理开销,预测也不够稳定。神经符号方法把策略拆成若干范围较窄的神经判断,再用显式逻辑组合,被视为自然的替代路径,但既有符号层表达力不足,且针对固定数据而非策略本身做优化。
编译与联合优化方式
SCOPE 的做法是把一条策略编译成可执行程序,程序中的神经谓词由小型模型、确定性抽取器和负责组合输出的代码共同执行。程序不是先固定数据再训练,而是与训练数据一起优化,优化过程中对抗式地生成反例,重点落在程序与策略发生偏离的位置。这样做的目标是让程序结构本身贴合策略,而不是让模型去拟合一批静态样本。
评测结果与迁移表现
在真实策略任务构成的基准上,SCOPE 与提示优化、任务分解、工作流生成三类方法比较,在不同任务和不同模型上取得最高平均准确率。一个值得注意的现象是,用最弱执行器优化得到的程序,迁移到其他模型时不需要再优化,因而可以部署在成本较低的模型上,并达到与前沿推理模型相当的准确率。与单体模型相比,SCOPE 的预测稳定性明显更好,每个判定结果都能通过产生它的谓词输出得到解释。论文还通过消融实验验证了方法中的关键组件。
为什么值得看
把策略变成可解释、可迁移的程序,让低成本模型承担生产环境的策略执行,值得关注智能体合规落地的人一看。
推理模型智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
