arXiv论文提出多轮业务Agent评测框架
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对多轮业务Agent评测需动态维护、且需区分能力缺陷与知识缺失的痛点，Kaiwen Luo等提出集成方法论，涵盖评测规范、模块化评判器、意图保持的用户模拟器及人机协同治理。规范定义对话终态与可行动的故障归属；原子评判器共享版本化证据并汇入显式聚合图；模拟器需经任务保持与稳定性检查后才释放；独立人工审计评估测量保真度并更新参考集。生产观测显示，系统保真度随审计提升，人机在共享反馈下共同进步，组合工作流在任务完成设定中描述性能最强。该框架使评测随系统演进保持可靠、可行动与可维护。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载多轮Agent评测痛点与规范
现有LLM评判多针对固定任务下的固定输出，而生产环境的多轮业务Agent评测需动态维护。其正确性依赖特定业务事实与流程，结果在多轮交互中逐步显现，且必须将故障明确归因于Agent能力不足或业务知识缺失，才能指导后续行动。该框架的评测规范定义了对话级别的终态，并确立了可行动的故障归属机制，使评测结果能直接转化为改进方向。
模块化评判与模拟器机制
框架采用原子化评判器，各评判器间共享版本化的证据，并将结果汇入显式聚合图，实现评判过程的模块化与可追溯。在用户模拟方面，意图保持的模拟器仅在通过任务保持与稳定性双重检查后才被释放使用，确保模拟交互的有效性与可靠性，避免因模拟器偏差导致评测失真。
人机协同治理与生产验证
独立人工审计用于估计测量保真度，更新分层参考集，并将分歧路由至标签修正、指南修订或评判器改进。生产环境观测表明，系统级保真度随重复审计不断提升，人工审核者与自动评判器在共享反馈循环中共同进步。两者组合的工作流在两种任务完成设定下均展现出最强的描述性能。因研究为观测性质且人工参考本身需修订，结论证实了操作实用性而非因果或普适优越性。
为什么值得看
解决多轮业务Agent评测中故障归属难、需动态维护的痛点，提供可落地的可靠评测框架。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。