研究指LLM无法自决智能体验证边界，提出CoVer框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载验证器面临的两类规则
这篇论文讨论的是智能体验证器在运行中遇到的一个划分问题。验证器面对的规则可以分成两种：一种靠固定的检查就能判定，另一种必须交给裁判来判断。如果规则由团队自己制定，那么哪些规则归固定检查、哪些规则归裁判，可以在事前就确定下来。但当需求来自外部时，情况就不同了。论文举出的场景是金融、医疗和法律，在这些领域里，智能体执行的是并非由它自己写下的规则，于是这种划分只能放到运行时进行，并且会随着每一条规则的每一个谓词、每一个动作反复出现，其频率高到没有审查者能够逐一核对。论文把这种反复出现的划分需求作为问题的起点，并指出各种升级机制都默认模型能够自己做出这个判断，也就是所谓自可判定性。
六个语料库的标注结果
作者在六个语料库上收集了大约两万两千条标签，这些语料库包括欧盟人工智能法案、FINRA 的指引，以及一个已经部署的信贷智能体。标注来自三个实验室构建的四个模型。结果显示，在答案显而易见的地方，这些模型几乎完全一致；但一旦面对监管文本，它们的一致性就崩塌了。更关键的是，它们的错误方向彼此相反，因此没有任何一个模型可以被当作保守的选择来信任。而在那个已部署智能体自身的规则集上，这些模型则一起出错，共同倾向于声称固定检查就足够，而这恰恰是永远不会被升级处理的方向。论文由此说明，模型在自可判定性上的表现并不能支撑把它作为划分依据。
CoVer 的 corroborate…
针对上述问题，作者提出了 CoVer，即先佐证再验证。它的做法是把多个模型的一致意见当作一种提名，而不是最终结论。只有当为某个谓词合成的检查能够通过干预测试，也就是读取智能体无法写入的字段，并且在确定性的改写之下依然成立，这个谓词才会被接纳。论文指出，这道关卡会拒绝掉大部分被一致性错误接纳的内容，代价是覆盖率的下降，而作者选择如实报告这一代价，而不是去调参把它抹掉。论文还对比了另一种显而易见的替代方案，即与一个参考裁判保持一致。作者认为这种做法什么也证明不了：在标定区间上，它与参考裁判的一致率从百分之三十升到百分之七十七，但真正可判定的比例并没有变化，因为从被质疑的总体中抽出的裁判会认可它所共享的盲区。
结论与适用范围
论文的结论是，自可判定性并不是一种可以从模型中引出的能力，而是验证器必须自行构建的边界。这一结论适用于需求来自外部、规则并非由智能体自己书写的场景，例如论文提到的金融、医疗和法律领域。对于读者而言，这意味着在部署这类智能体时，不能依赖模型自己对某条规则是否可由固定检查判定给出答案，也不能把多个模型的一致意见直接当作可靠信号。论文被 NeurIPS 2026 的 Who Verifies the Agents? Workshop 接收，属于非存档的研讨会论文，全文共二十一页，其中正文九页，其余为参考文献与附录。
为什么值得看
揭示LLM在合规验证中的系统性盲点，为金融、医疗等强监管场景的智能体验证提供新机制。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。