ECCV研讨会最佳学生论文提出ReACT-TTS对话语音框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载一秒面部序列先定情绪
ReACT-TTS 把对话语音的生成拆成前后两个阶段。第一阶段不直接合成声音，而是先看听者在回应前那一秒的面部变化序列，据此推断下一句话应当带怎样的情绪与韵律，也就是先做回应规划；第二阶段才把规划好的风格交给声学模型落地成语音。作者把这一秒的视觉线索当作对话上下文之外的另一类输入，让系统在开口之前先读取对方的表情走向。整个框架的关键在于把情绪与韵律的决策提前到语音实现之前，使后续合成有明确的目标风格，而不是在声学模型内部隐式决定。
时序条件优于纯文本
在严格的两人对话 MELD 协议下，作者用十个随机种子比较了不同条件输入的效果。以时序方式引入听者面部信息时，宏平均 F1 与 VAD 一致性这两项指标的平均值都高于只用文本的条件，而准确率基本持平。消融实验进一步显示，在若干视觉变体中时序建模表现最好；显式构造早期与晚期之间的差分并不必要。此外，输入正确的听者反应在平均意义上优于把反应循环错配的做法，说明收益来自反应内容本身与当前语境的对应关系，而非仅仅多了一路视觉信号。
二十位研究者偏好测试
在语境恰当性研究中，二十位语音领域研究者对生成结果做出判断，其中 76% 的选择偏向时序条件方案，9% 偏向纯文本方案，另有 15% 表示两者没有差别。这一偏好分布与前面的客观指标方向一致，即引入回应前的听者动态后，听感上的贴合度更容易被接受。作者还把预测出的回应风格接到 Grad-TTS 骨干上，完成从规划到语音的端到端实现，使风格预测与声学合成连成一条链路，而不是停留在分类指标层面。
适用边界与可用资源
这套方法的适用范围限定在双人对话场景，且依赖能够获取听者回应前一小段面部序列的输入条件；材料未给出更多场景下的验证结果。论文共 15 页、2 幅图，收录于 2026 年 ECCV Workshop（第 11 届 ABAW），并获得最佳学生论文奖，源代码已公开。对关注对话语音生成的读者而言，这项工作的意义在于提示：回应前的听者动态可以作为对话回应规划的补充线索，与文本上下文并行使用，而不必替换原有条件。
为什么值得看
将听者面部动态作为互补线索引入对话语音规划，为提升生成语音的情感与韵律适切性提供了新解法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。