新框架SE-MSB实现无配对语音增强,推理速度获数量级提升

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

传统语音增强依赖含合成劣化音频的配对数据,在未知声学特性的真实场景受限。SE-MSB框架采用扩散薛定谔桥学习纯净与劣化语音分布间的随机传输,摆脱配对数据依赖。针对传输图学习需模拟微分方程致计算繁重的问题,该框架引入高效Mamba扩散模型进行端到端波形处理。实验表明,其比现有配对及无配对方法持平或更优,推理速度快数个数量级,且能跨语音增强任务泛化。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

不依赖成对数据的思路

这篇论文关注的是语音增强任务中长期存在的一个前提:训练数据通常由干净语音经过人工加噪合成,模型学习的是从这种合成退化到干净的映射。一旦部署环境的声学特性与合成方式不一致,效果就会打折扣。作者提出的框架不再要求成对的干净与退化样本,而是把干净语音和退化语音各看作一个分布,用扩散薛定谔桥在这两个分布之间学习一条随机传输路径。这样训练信号来自两个分布本身的形态,而不是逐样本的配对关系,目标环境的具体特性也就不必事先已知。论文把这一设定称为完全非配对的语音增强框架,并强调传输过程是有原则可依的随机过程,而非简单的映射拟合。

用 Mamba 换取训练效率

学习传输映射的常规做法计算代价很高,因为训练时需要模拟微分方程,往往每个训练步都要跑一遍仿真。作者的应对是把一个为端到端波形处理设计的高效 Mamba 扩散模型放进这套框架里,让波形直接进出网络,省去中间表示带来的开销。论文给出的对比对象覆盖三类:成对数据训练的语音增强方法、非配对方法,以及一种经典信号处理算法。结果显示,该模型在增强效果上与这些基线持平或更优,同时在推理阶段快出若干个数量级。这一速度差异来自模型结构与端到端波形处理的结合,而非靠削减训练步骤换来的近似。

适用范围与任务迁移

作者还报告了这套框架在任务层面的灵活性:由于薛定谔桥的表述方式本身较为通用,同一个模型可以迁移到不同的语音增强任务上,而不必为每类任务重新设计配对数据流程。论文把这一点视为面向真实场景语音修复的稳健且高效的方案。需要留意的是,材料给出的信息集中在方法设定与实验对比上,包括 15 页正文、4 幅图和 4 张表的篇幅安排,以及推理速度的量级优势;至于在哪些具体噪声类型、信噪比区间或数据集上表现如何,摘要层面并未展开。对关注语音增强落地的读者来说,这项工作的意义在于把训练数据从配对约束中解放出来,同时把推理成本压到可实用的水平。

为什么值得看

突破配对数据依赖并实现数量级推理加速,为真实场景语音恢复提供高效泛化方案。

语音

信源1 家

  1. [1]arXiv cs.AI一手信源SE-MSB: End-to-End Unpaired Speech Enhancement using Mamba Schrödinger Bridges

关键事实

  • SE-MSB框架利用扩散薛定谔桥实现无需配对数据的语音增强[1]

  • 该框架引入Mamba扩散模型处理端到端波形,解决模拟微分方程的计算负担[1]

  • 实验显示其推理速度比基线快数个数量级,性能持平或更优[1]

  • 该模型具备跨语音增强任务的泛化能力[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。