NemotronLabs发布开源全双工语音模型VoiceChat
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载双工语音与并行输出流
NemotronLabs VoiceChat 的定位是一个开放的全双工语音到语音模型，其结构由流式语音编码器与仅解码器语言模型组合而成。与常见的先转写再合成、按轮次交替的语音对话管线不同，该模型在输出侧设置了并行的专用流，分别承载智能体文本与结构化函数调用。这意味着语音回复与工具调用信息可以同时产生，而不必等语音播完再单独发起一次调用。材料还提到一条辅助的 RNN-T 分支，用于增量处理用户侧的转写，使模型在用户仍在说话时就能持续获得文本形式的输入。全双工的含义体现在输入与输出可以同时进行，模型不必等到用户完全停止发言才开始响应。从公开信息看，该工作以论文形式发布，标注为开放模型，并给出了两个版本的提交时间，说明其在短期内有过更新。
工具调用内嵌于语音链路
该模型把工具调用能力作为原生特性，而非在语音系统之外再挂接一个独立的调用模块。结构化函数调用与智能体文本走的是并行的专用输出流，因此调用请求的生成与语音的生成处在同一套解码过程之中。对使用方而言，这种设计的直接差别在于：语音助手在对话中途需要查询或执行某个动作时，不必先结束语音回合、再把文本交给外部编排层，链路更短。材料给出的信息集中在架构层面，未披露工具调用的具体格式、支持的函数规模或调用成功率等指标，因此这些方面目前无法展开。可以确认的是，模型同时面向语音输出与函数调用两类目标，二者共享同一个语言模型主干。
适用范围与信息边界
从材料能够确认的适用范围是语音到语音的实时交互场景，且需要模型在对话过程中调用外部功能。辅助 RNN-T 分支的存在表明系统关注用户语音的增量转写，这与需要低延迟响应的交互形态相匹配。限制方面，公开摘要只描述了组成模块与输出流划分，没有给出延迟、吞吐、语音质量或工具调用准确率等量化结果，也没有说明支持的语言、音频格式与部署条件。因此对这些指标的判断需要等待更完整的论文内容。读者可以把这项工作理解为一种把语音对话与函数调用合并到单一模型中的开放方案，其价值主张在于减少语音助手在“说话”和“做事”之间的切换环节；至于实际表现是否达到可用水平，材料尚未提供依据。
为什么值得看
开源全双工语音模型原生集成工具调用，为构建可实时交互的语音智能体提供底层方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。