VoiceTrace 框架支持基于说话人检索语音
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把“谁说的”纳入检索条件
现有语音检索的评测与模型大多围绕语义内容展开，也就是解决“说了什么”的问题，而对说话人这一维度关注不足。VoiceTrace 的作者指出，在会议、讲座、播客和视频等场景中，用户往往需要同时按语义内容和目标说话人来取回语音片段，并且说话人通常是用一段参考语音自然给出的，而不是预先定义好的身份标识。为此，这项工作提出了 VoiceTrace-Bench 基准，其中每条查询由两部分组成：一段文字说明要检索什么内容，一段参考语音说明要检索谁的声音。模型需要从这两类异构输入中同时提取语义与说话人信息并加以整合，这构成了与传统语义检索不同的任务设定。
两阶段框架的分工
围绕上述设定，作者构建了 VoiceTrace 检索框架，分为两个阶段。第一阶段是 VoiceTrace-Emb，它是一个嵌入模型，为查询和候选语音学习统一的向量表示，从而支撑大规模场景下的高效召回。第二阶段是 VoiceTrace-Reranker，它是一个重排模型，对每一组查询与候选片段进行联合考察，给出更细粒度的相关性判断。这种先召回再重排的结构，使系统既能应对海量语音库的检索效率要求，又能在候选集上做更精细的匹配。作者提到，该设计的动因来自音频语言模型在音频与文本联合建模方面的能力。
与级联方案的差别
在实验层面，VoiceTrace 在已有的语义语音检索基准上取得了当前最优的表现，说明它在常规的“只按内容找语音”任务上同样具备竞争力。而在新提出的 VoiceTrace-Bench 上，它的表现明显优于基于级联的做法。级联思路通常是把语义检索与说话人匹配拆成先后两个独立环节，各自处理一部分信息；VoiceTrace 则让语义与说话人线索在嵌入和重排两个阶段都被共同建模。这一对比的意义在于，当查询同时包含文字与参考语音时，分开处理容易丢失两类信息之间的关联，而联合建模能够更充分地利用异构查询输入。
适用范围与待解限制
从任务定义看，VoiceTrace 面向的是说话人由参考语音指定、而非由姓名或身份标签指定的检索场景，这使其适用于用户手头只有一段目标声音样本的情况。基准覆盖会议、讲座、播客、视频等语音内容持续增长的场合，评测关注的是语义内容与说话人两个条件同时满足的检索效果。需要说明的是，材料给出的是基准与框架层面的设计与实验结果，尚未涉及部署成本、超长语音库下的表现边界等工程细节；两阶段结构中的嵌入召回与重排各自的开销，也需要结合具体规模来评估。对关注语音检索的读者而言，这项工作把“谁说的”正式纳入检索目标，并给出了可对照的评测集合与两阶段实现路径。
为什么值得看
填补了语音检索中“谁说了什么”的混合检索空白。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。