SLM-SS：用语音语言模型做基于 token 的语音分离
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 SLM-SS，把多说话人混合语音的分离改成 token 生成任务。先用神经编解码器把干净语音离散成多码本 token 序列，再用 Serialized Output Training 把多个说话人的目标串行化。编码器-解码器自回归语音语言模型预测零阶序列，确定说话人顺序和粗粒度语言内容；非自回归模块再细化高阶残差码本。作者还引入逐说话人非自回归策略，简化高阶建模并提升稳定性。在 Libri2Mix 上，采用逐说话人 NAR 的版本词错率为 6.92%，接近仅用编解码器重建的水平。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把语音拆成离散词元
这项研究把多说话人混合语音的分离问题，转成在离散词元空间里的生成问题。做法上，先用神经编解码器把干净语音转成多码本词元序列，再借助串行输出训练把多个说话人的目标排成一条序列。这样，分离系统处理的对象就从连续波形变成了词元，模型不必直接回归信号采样点。
自回归加非自回归两段
框架由一个编码器—解码器自回归语音语言模型和一个非自回归模块组成。前者预测零阶序列，用来确定说话人顺序并给出粗略的语言内容；后者再细化高阶残差码本，以较低代价完成重建。作者还提出按说话人分别处理的非自回归策略，把高阶建模拆开，从而简化流程并提升稳定性。
与信号级优化的差别
以往分离系统多以信号层面的目标来优化，波形指标看起来可以接受，但输出对可懂度敏感的下游任务并不理想。SLM-SS 改在词元层面建模，关注点从波形相似度转向语言内容。在 Libri2Mix 上，采用按说话人非自回归的版本词错率接近仅用编解码器重建的水平。
主观质量与泛化表现
WavTokenizer 变体去掉了非自回归细化环节，在参与评估的分离系统中取得最高的平均主观质量分。它在 UTMOS 与 DNSMOS 两项指标上相对判别式基线的优势，在未做微调的情况下，于未见过的含噪混合与中文混合上依然保持。这说明该框架的收益不局限于训练分布内的数据。
为什么值得看
语音分离从信号级指标转向可懂度与生成式建模，词错率与主观音质数据给出了可对比的参考。
微调语音论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。