研究提出GS-Codec神经音频编码器
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把量化器换成高斯分解
GS-Codec 的做法是把神经语音编解码器的瓶颈从量化器换成一种参数化的信号分解。传统方案大多沿用 VQ-VAE 的模板，用学到的码本或固定的标量网格去切分编码器输出的隐变量，残差向量量化、有限标量量化以及单码本变体都属于这一类。GS-Codec 则把原本用于三维场景重建的高斯泼溅搬到一维隐变量上：一个内部优化循环把编码器输出的每一段拟合为若干一维高斯基元的加权和，解码器再根据渲染出的这个和重建波形。整个训练管线里不存在量化器，瓶颈就是分解本身，标量量化只在训练结束之后施加到拟合出来的参数上。
单次前向替代迭代求解
内部优化循环需要反复迭代，直接放到推理阶段会带来额外开销。为此作者另外训练了一个轻量的 GS Predictor Net，用一次前向传播就回归出基元参数，从而绕开迭代求解的成本。编码器与解码器仍然通过这个内部循环做端到端训练。这种安排意味着推理时并不需要真的跑完整的高斯拟合过程，预测网络承担了把编码器输出映射到基元参数的角色，而分解结构本身在训练阶段塑造了隐空间的形态。
码率可在训练后调整
与依赖离散码本级数来控制码率的方案不同，GS-Codec 的表示方式给出了更细粒度的码率与质量权衡：同一个训练好的检查点即可支持训练后的码率控制，手段是改变基元数量以及每个参数的比特深度，不需要重新训练。这一点对需要按不同带宽或存储条件部署的场景有实际意义，因为不必为每一档码率单独准备一个模型。作者报告称，在相近码率下，GS-Codec 在说话人相似度、可懂度和感知质量指标上达到或超过 EnCodec、DAC 等开源编解码器，语义性能也相当。代码与音频样例已公开。
为什么值得看
为语音大模型等提供基于高斯泼溅的新型音频离散化路径，突破传统VQ-VAE划分范式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。