研究揭示全双工语音模型对话换轮延迟:中位耗时远超人类

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

全双工语音模型常被用于自博弈生成与评估,但无人类介入时其换轮时序缺乏研究。让两个PersonaPlex-7B实例在无脚本对话中共享时钟交换音频token,发现其换轮时序高度耦合,跨对话重组说话者会破坏该时序。然而模型换轮严重滞后,中位耗时400至560毫秒,而人类仅137毫秒。人类常在对方末尾120毫秒内发起十分之一的转移,模型仅占1%。单向信道延迟会导致响应一对一推迟且前置空白,表明模型采用反应式等待而非人类基于预测的时序机制。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

两个语音模型互相对话

这项研究关注的场景是全双工语音模型彼此交谈,而不是与人交谈。论文指出,这类模型原本是为与人对话而训练的,但如今越来越多地被用于自对弈数据生成、智能体社会以及基于模型的评测中,在这些环节里模型之间会互相交流。在这种循环中,没有人类去消化时间上的误差,一个模型的轮次转换结果会直接成为另一个模型的输入。研究要回答的问题是,这样的循环最终会稳定在什么样的时间节奏上。实验让两个 PersonaPlex-7B 实例在共享时钟上交换音频 token,进行没有脚本的对话,并把一条话轮转移规则同时应用到它们和 Switchboard 上。

时间耦合但换手偏晚

结果显示,两个模型的时间表现是耦合的:如果重新配对说话者、跨对话组合,这种耦合就会被破坏。但话轮的交接发生得偏晚,中位数为 400 至 560 毫秒,而人类的中位数是 137 毫秒。论文还提到一个细节,在伙伴话轮的最后 120 毫秒里,人类预测会把十分之一的转移放在这个区间,而模型只有百分之一落在这里。这说明模型并没有像人类那样提前预判话轮结束,而是在感知到对方说完之后才做出反应。

延迟通道验证反应式等待

为了进一步验证这一判断,研究对通道的一个方向施加延迟。结果发现,模型的响应会随着延迟一比一地平移,而响应之前的准备阶段则是空白的。这一现象与「感知到结束之后再反应式等待」相符,而不是人类时间控制所需要的对话轮结束的预判。论文题为 Coupled but Late: Turn-Taking Between Full-Duplex Speech Models in Unscripted Dialogue,作者包括 Lichen Zhu、Yueqian Lin、Yiheng Wang、Hai "Helen" Li 和 Yiran Chen,于 2026 年 10 月 6 日提交,属于 cs.AI 分类,目前处于审稿状态。

为什么值得看

揭示全双工语音模型在互相对话时缺乏人类预测性换轮机制,对自博弈数据生成及多智能体语音交互设计具参考价值。

语音

信源1 家

  1. [1]arXiv cs.AI一手信源Coupled but Late: Turn-Taking Between Full-Duplex Speech Models in Unscripted Dialogue

关键事实

  • 两个PersonaPlex-7B实例在无脚本对话中换轮中位耗时400至560毫秒,人类为137毫秒[1]

  • 模型在对方末尾120毫秒内仅完成1%的换轮,人类该比例为10%[1]

  • 单向信道延迟会使模型响应一对一推迟且前置空白,证实其为反应式等待而非预测机制[1]

  • 模型间的换轮时序高度耦合,跨对话重组说话者会破坏该时序[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。