CXBench 基准发布：评估受监管客服流程中的 LLM 智能体
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究者提出 CXBench，用于在六个受监管领域分别评估 LLM 智能体的结果合规与流程合规。每个任务由客户请求、工具环境和明确的流程要求组成，规则卡把监管义务对应到可观察的轨迹证据，评分器结合确定性检查与 LLM 判定。在七个模型、120 个任务、840 次保留执行中，55.5% 为假通过，占结果通过运行的 80.1%，仅 13.8% 同时通过两项检查。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为何要分开评流程
材料指出，使用工具的语言智能体越来越多地承担受监管的客服流程。在这类场景里，最终状态正确并不够：智能体还需要给出披露、取得同意并遵循规定步骤。现有工具智能体基准大多只对最终业务状态打分，因此会接受那些通过不合规过程达成正确结果的轨迹。CXBench 的出发点就是把结果与流程拆开评估，覆盖六个受监管领域，每个任务由客户请求、基于工具的环境和明确的流程要求三部分构成。
规则卡与混合评分
为了让流程要求可核查，基准用规则卡把引用的监管义务对应到可观察的轨迹证据，使失败点能够被定位和检查。评分环节采用混合方式：顺序与权限类要求由确定性检查判定，语义类要求交给 LLM 评判。材料还给出假通过的定义，即结果通过但流程检查未通过的执行，这一指标直接衡量只看结果时被掩盖的合规缺口。
实测差距与排序变化
在七个模型、120 个任务共 840 次保留执行中，55.5% 属于假通过，占全部结果通过运行的 80.1%，同时通过结果与流程两项检查的只有 13.8%。材料还提到，把流程纳入评估会改变观察到的模型排序，并暴露出仅按结果打分时看不到的差异。对使用工具智能体处理受监管流程的团队而言，这意味着单看任务完成率可能显著高估实际合规水平。
为什么值得看
只看最终结果会高估智能体合规性，该基准给出可复核的流程评估方法与量化差距。
智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。