SCIC方法提升长语音TTS子句级韵律控制精度
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载长直播语音的韵律难题
长时段直播场景下的语音合成，需要韵律随上下文变化，并在段落层面保持连贯。论文指出，不少基于指令的语音合成系统采用全局或统一的控制条件，对分句之间相对韵律变化的显式控制能力有限。为此作者提出一种说话人相对的行内韵律控制方式：音高、能量、语速三类指令都以同一说话人的前一个分句为参照，描述相对变化；停顿则不同，使用绝对时长区间来指定。这一区分构成了后续方法设计的前提，也决定了不同指令在编解码器结构中会走不同的路径。
语速停顿与音高能量的差异
在基于编解码器的语音合成中，语速与停顿会改变序列长度，而音高与能量则依赖残差码本。作者对 Qwen3-TTS 的 RVQ 码本进行了分析，观察到能量集中在靠前的残差码本中，音高则在更深的一段前缀里逐步累积。基于这一观察，论文提出 SCIC，即范围与码本感知的指令条件化方法，它把两部分组合起来：一个时间指令路由器负责帧级别的标签激活，另一个标签专属码本加权则作用在残差码本上。作者报告，相比使用文本 token 标签的标准指令微调，SCIC 在说话人相对的音高与能量控制上有所改善。
多奖励后训练与长文本表现
在控制能力之外，作者还引入多奖励 GDPO 后训练，把控制与质量放在一起优化，在提升控制精度的同时保持字符错误率与说话人相似度。在长文本合成中，论文称 SCIC 生成的段落级表现力层次，比没有指令的说话人适配 SFT 更为分明。需要说明的是，这些结论来自论文自身的实验设置与对比，适用范围限于其所述的长时段直播语音合成任务；音频示例通过论文给出的链接提供。对关注语音合成的读者而言，这项工作的意义在于把分句级相对控制与码本结构对应起来，为长文本韵律的显式调节提供了一种可参考的实现路径。
为什么值得看
实现长文本TTS精细子句级韵律控制，为直播等场景提供更连贯且富有表现力的语音合成方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。