DialFork：首个针对对话代理程序性幻觉的基准发布
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载被忽视的失败模式
现有研究大量关注事实性幻觉，即模型说出与事实不符的内容。该论文指出另一类失败长期被忽略：程序性幻觉。此时代理的每一句话单独看都通顺、也符合事实，但整体偏离了预设的对话流程。这类问题在需要遵循流程逻辑的对话代理中尤为关键，因为流程本身才是任务能否完成的核心。论文将衡量对象设定为原始对话文本，而非结构化状态或槽位，从而更贴近真实部署场景。
基准如何构建
DialFork 的做法是在合规对话的受控轮次位置进行分叉，并注入四种不同类型的幻觉，由此得到 36,278 段对话，覆盖 12 个领域的 24 项任务。构建过程由 30 名人工标注者验证，以保证分叉位置与注入类型符合设计意图。这种「分叉加注入」的方式使基准同时具备合规与偏离两类样本，便于对比模型在不同偏离程度下的判别表现。
三个评估粒度
论文定义了三个评估任务，对应程序偏离的三种粒度：一是衡量一组对话整体偏离合规对话有多远，用于监控已部署的代理；二是衡量单段对话的偏离程度，用于程序检索；三是定位一段对话首次跑偏发生在哪一轮，用于实时护栏。前两个任务配套提出 FlowKL 与 FlowScore 两个对话流感知指标，它们比较的是对话如何展开，而不是对话内容本身。
指标表现与开放方式
在对话级别上，FlowScore 在七种编码器上均显著优于所有基线，说明语义相似度不能替代程序相似度——两段话内容相近，流程走向可能完全不同。论文以 MIT 许可发布 DialFork，并希望社区在衡量对话内容之外，也把对话流程纳入评测范围。
为什么值得看
对话代理的失败不只在事实错误，还在于流程跑偏；该基准提供了可量化的检测指标与公开数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。