SIT-Eval 提出按情境逐轮评测对话智能体的框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载静态基准的覆盖缺口
论文指出，对话智能体数量增长很快，评测需要覆盖多种对话场景，并用多个情境准则来判断行为是否恰当，因为恰当与否取决于上下文，且涉及多个方面。现有对话基准多采用静态的自然对话，对罕见情境的覆盖不足。作者把这一点视为安全缺口：低概率事件在生产规模下会变成频繁出现的失败。但样本量有限又迫使评测方二选一：要么保留自然对话以维持真实感，要么改用自适应情境采样，以换取全面且统计上可靠的覆盖。SIT-Eval 试图在这两者之间提供可调节的方案。
规则化情境与逐轮评审
该框架把智能体应有的行为写成条件式的情境规则，形式为「若情境为 P，则遵循规则 Q」。对话每一轮，由充当对话方的 LLM 执行一个均匀采样的情境；随后由能感知上下文的 LLM 评审，把当前情境下所有条件适用的规则作为评判准则，对该轮回复打分。评审器本身也经过校验，校验材料是人工核验过的合成黄金对话。这样，评测对象从整段对话的总体印象，转为每一轮、每一情境下的规则遵循情况。
8 个模型的实测发现
作者在 1292 轮对话上对 8 个 LLM 做了基准测试。结果显示，总体指标会掩盖失败模式：总体得分相近的模型，在单条规则上的遵循程度差别很大。也就是说，聚合分数接近并不代表行为一致，具体到某类情境时表现可能明显分化。另一个跨模型的共同弱点是歧义澄清与苏格拉底式提问，所有被测模型在这两类情境下表现最差。论文编号为 arXiv:2610.23612，归入 cs.CL 与 cs.AI。
为什么值得看
静态对话基准会漏掉低频情境，而这类情境在生产规模下会变成高频故障；该框架给出了可调节的逐轮评测路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。