新框架实现跨说话人声学到发音反演的解剖自适应
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用解剖标志做几何适配
这项研究针对跨说话人声学到发音反演中的一个核心难题：不同人的声道解剖结构存在差异，固定模型直接迁移到新说话人身上会产生偏差。作者提出的思路是不重新训练模型，而是通过几何变换把预测结果对齐到目标说话人的解剖结构上。具体做法是先在每位说话人选定的一帧 /u/ 音素上标定解剖标志点，这些标志点主要落在脊椎和牙齿结构上。选 /u/ 帧是把它当作共同的语音参照，但并不要求不同说话人在这一帧上的发音姿态完全一致。标定完成后，先施加仿射变换，再用薄板样条（TPS）做非刚性形变，把模型预测出的 10 个声道结构轮廓映射进目标说话人的几何空间中。得到的映射关系可以复用到该说话人的其他录音上，无需逐条重新标定。
单说话人训练与八人评测
模型的训练数据来自一个单说话人的实时核磁共振（rt-MRI）数据库，也就是说反演模型本身只见过一个人的发音数据。适配效果的评测则在另一个独立的多说话人 rt-MRI 数据库上进行，共涉及八位说话人。评测中作者比较了不同的标志点配置：仿射变换分别使用 12 个或 14 个标志点，TPS 形变同样在 12 与 14 个标志点之间切换。衡量指标是平均点到最近点误差，即预测轮廓上的点到目标轮廓最近点的平均距离。结果显示，仿射用 12 个标志点、TPS 用 14 个标志点的组合取得了最低误差，数值为 3.19 毫米。这一结果说明，解剖标志点信息与非线性对齐两者结合使用，比单独依赖其中一种更有价值。
适用范围与使用限制
从方法设计看，这套框架的适用前提是能够为每位目标说话人取得一帧可标注的 /u/ 发音数据，并从中提取脊椎与牙齿上的解剖标志点。一旦完成这一步，映射即可复用于该说话人的其余录音，因此适配成本主要集中在前期的单帧标注上，而不是每条语音都需处理。限制方面，评测覆盖的是八位说话人，训练仅基于单说话人数据库，模型对更广泛人群的泛化能力在材料中并未给出结论。此外，误差指标采用的是平均点到最近点距离，反映的是轮廓整体贴合程度，并不等同于发音动作在生理意义上的完全还原。该工作已投稿至 IEEE ICASSP 2027，属于音频与语音处理以及人工智能方向的交叉研究。
为什么值得看
无需重训练即可跨说话人高精度映射发音轮廓，为语音与医学影像处理提供高效自适应方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。