JevAct 框架拦截 LLM Agent 动作，执行前做运行时校验
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载执行前先拦一道
这篇论文关注的是工具型智能体在执行动作前缺少独立核验的问题。作者提出名为 JevAct 的运行时验证框架，做法是在智能体选定的动作真正执行之前将其拦截下来，再借助反馈让智能体自行修正。也就是说，验证发生在动作落地之前，而不是事后追责。框架把领域策略编译成可执行的状态检查，同时生成结构化问题，交由一个只做预填的决策模型来评估。该模型输出的是基于概率的判断，不依赖大模型逐字生成答案，因此判断过程与智能体本身的生成过程相互分离。
确定性与概率并用
JevAct 的核验由两部分拼合而成。一部分是对工具状态事实做确定性验证，即依据编译好的状态检查判断当前情形是否满足条件；另一部分是对对话上下文做概率性评估，由决策模型给出结构化问题的概率判断。两者结合后，框架能够识别出可能无效的动作，也能发现任务被过早终止的情况，并据此给出有针对性的反馈，让智能体在有限范围内进行修订。论文强调，这套机制独立于底层智能体模型运行，既不需要改动模型参数，也不需要改动其工具配置，因此可以套用在已有智能体之上。
评测覆盖与结果差异
作者在 τ²-bench 的 Airline 与 Telecom 任务以及 BFCL 上对多个 LLM 智能体做了评测。结果显示，多个模型和多个基准上的智能体可靠性都有提升，其中 Telecom 与 BFCL 上的增益较为稳定一致，Airline 上的表现则更为参差。论文据此认为，把结构化决策模型与可执行验证结合起来，有助于提高使用工具的 LLM 智能体的可靠性。对读者而言，这意味着在不重训模型、不改工具的前提下，于动作执行前加一道可编程的检查关口，是一种可尝试的可靠性改进路径；但其效果并非在所有任务上都同样明显，落地时仍需按具体场景评估。
为什么值得看
给工具型 Agent 加一道执行前校验，不改模型即可接入，关注 Agent 可靠性的团队可看其方法与评测结果。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。