MP-Bench 评估语音智能体多方对话能力
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
新基准 MP-Bench 旨在评估语音智能体作为多方对话参与者的能力，重点考察轮次转换意识与回复得体性。研究对 12 个语音智能体进行了测试，结果显示，实时语音智能体在多方对话理解任务上的得分不超过 22%，在轮次转换任务上的表现接近随机猜测，暴露了当前模型在复杂群组场景下的显著短板。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载填补多方对话评估空白
现有的语音智能体评估基准主要集中在双人交互或被动音频理解上，忽略了现实世界中普遍存在的多方对话场景。针对这一空白，研究团队推出了 Multiparty Bench（MP-Bench）。这是首个专门设计用于客观评估语音系统在多方语境下作为主动参与者表现的基准。该基准不仅要求智能体生成符合语境的回复，还必须对开放的轮次转换机制具备细致的理解。
评估维度与测试结果
MP-Bench 从两个主要维度对智能体行为进行评估：轮次转换意识和回复得体性，并辅以基于理解的问答任务作为补充评价。研究团队利用该基准对 12 个语音智能体进行了测试。结果显示，实时语音智能体在多方对话理解任务上的得分保持在或低于 22%。在更具挑战性的多方轮次转换任务中，这些智能体的表现接近随机猜测。
当前技术面临严峻挑战
测试数据表明，尽管语音智能体在自然交互方面取得了进展，但在处理多人对话的指数级复杂性时仍存在巨大困难。智能体难以适应人类群组动态，无法有效把握何时发言以及如何得体回应。这一发现暴露了实时语音智能体在多方场景下面临的开放性挑战，也凸显了改进模型在复杂社交语境中推理能力的紧迫性。
为什么值得看
揭示现有语音智能体在多人对话场景下的严重不足，指明技术攻坚方向。
智能体语音
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。