注册

研究揭示工具调用参数校验中的推导缺口并提出DeRef方案

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一项针对LLM智能体工具调用参数校验的研究发现，评判模型在输入中缺少对应参考文本时，接受正确参数值的概率会下降，作者将这一现象称为推导缺口。该缺口出现在所评估的全部七个评判模型中，包括System One模型CLM和Jev。研究指出这并非截断造成的假象：在无截断的基准上，正确默认值的缺口最大。受控的来源迁移测试显示，评判模型会跟随输入中的参考，宁可选择可见的错误值，也不接受来源被隐藏的正确值。为此作者提出DeRef，由另一个模型在不看候选值的情况下读取完整历史并写出参考，在三个基准上提升了所有受测评判模型的参数AUROC，受控测试中AUROC从随机水平或更低提升至98.40到99.59之间。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

推导缺口是什么

论文关注的是工具调用评判模型如何评估LLM智能体给出的参数值。作者发现，当评判模型的输入里没有一段说明该参数值应当是什么的参考文本时，它接受正确值的频率会降低。这种情况出现在三类场景：参数值是函数schema里的默认值而用户并未提及；参数值需要推断得出；以及参数值所依据的文本被从评判输入中截掉。作者把这种接受率的下降称为推导缺口。该缺口并非只出现在某一种评判模型上，在所评估的全部七个评判模型中都能观察到，其中包括System One模型CLM和Jev。

缺口并非截断假象

作者进一步检验了缺口是否只是输入被截断带来的假象。结果显示并非如此：在一个没有截断的基准上，正确的默认值反而表现出最大的缺口。为验证评判模型的行为机制，作者设计了受控的来源迁移测试，结果发现评判模型会跟随其输入中可见的参考内容——当错误值在输入中可见、而正确值的来源被隐藏时，评判模型更倾向于选择那个可见的错误值。这说明评判结果在很大程度上取决于输入中是否存在可依据的参考，而非仅取决于参数值本身是否正确。

DeRef的做法与效果

针对上述问题，作者提出DeRef（Derived Reference）。其思路是把参考生成与评判分开：由一个单独的模型在不看候选参数值的前提下读取完整历史，写出供评判模型使用的参考。在三个基准上，DeRef提升了所有受测评判模型的整体参数AUROC。在受控测试中，DeRef把AUROC从随机水平或更低提升到98.40至99.59之间。论文共28页，含6张图和18张表，提交于2026年10月13日，编号arXiv:2610.18497。

为什么值得看

工具调用校验是智能体可靠性的关键环节，该研究指出评判模型依赖输入中可见参考的系统性偏差，并给出可提升AUROC的参考生…

智能体

信源1 家

  1. [1]arXiv cs.AI一手信源Judges Follow the Reference: The Derivation Gap in Verifying Tool-Call Arguments

关键事实

  • 评判模型在输入中没有对应参考文本时，接受正确参数值的概率下降，作者称之为推导缺口[1]

  • 该缺口出现在所评估的全部七个评判模型中，包括System One模型CLM和Jev[1]

  • 在无截断的基准上，正确默认值的缺口最大，说明缺口不只是截断造成的[1]

  • 受控来源迁移测试显示，评判模型更倾向可见的错误值，而非来源被隐藏的正确值[1]

  • DeRef由另一个模型在不看候选值的情况下读取完整历史并写出参考，在三个基准上提升所有受测评判模型的参数AUROC，受控测试中AUROC升至98.40到99.59[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论