论文提出基于神经CDE的连续时间语音建模
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把音素表示成控制路径
这篇论文关注的是文本转语音中的时长处理环节。常见做法是先用模型预测每个音素的持续时长，再按这个时长把音素级的编码器状态复制或拉伸到帧级，送进解码器。这种长度调节解决了结构上的对齐问题，但时长只决定潜在状态在哪些位置出现、重复多少次，状态本身的取值并不随时长改变。作者提出的替代思路是把音素表示写成一条随时间参数化的控制路径，再用一个神经网络声学向量场沿这条路径演化出连续时间的隐藏状态。这样隐藏状态的取值同时受音素内容和由时长推导出的时间信息影响，时长从单纯的排布工具变成了参与状态计算的输入。得到的轨迹可以在任意离散时间点上采样，再接入常规的声学解码器流程，不需要替换原有解码结构。
与循环模型的客观对比
论文给出了客观实验结果，把基于神经受控微分方程的模型与常见的循环模型放在一起比较。区别在于状态更新方式：循环模型按固定步长逐步推进，受控微分方程则把隐藏状态视为由控制路径驱动的连续演化过程，采样点可以自由选择。作者还做了步长相关的补充实验，把步长设为半个音素，观察时间分辨率变化带来的影响。结果显示，时间分辨率会改变风格跟踪能力与绝对校准之间的权衡关系：更细的采样步长并不必然在两方面同时变好，而是在两者之间移动平衡点。这一组实验说明，采样密度本身就是一个可调的设计变量，而不只是实现细节。
主观评测中的情绪表现
主观评测部分考察的是情绪表达。作者报告，在每一步评估一个音素的设置下，基于受控微分方程的模型在合成语音与参考语音的情绪强度排序一致性上有所改善，同时情绪表达质量与一个强基线模型相当。也就是说，改进主要体现在强度高低的相对次序更贴近参考，而不是整体表达质量出现明显跃升。作者据此把这类模型定位为面向连续时间、时长感知且对风格敏感的文本转语音的一个有前景的设计空间。需要说明的是，这些结论来自论文自身的实验设置，覆盖范围限于所测试的模型与评测条件，论文未给出更大规模或更多语种下的验证结果。
为什么值得看
引入连续时间机制解决TTS时长建模问题，提升情感表达准确性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。