CMA-OT 利用分层专家监督优化舞曲生成
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载稀疏舞步与密集配乐
舞蹈到音乐生成任务要求产出的音乐在节奏与风格上与舞蹈视频相吻合。论文指出，难点在于两类信息的体量不对等：舞蹈侧可提取的线索相对稀疏，主要是节奏与风格；而音乐创作需要的信息则密集得多，涵盖结构、配器以及表情力度等层面。既有做法大多只依赖这些稀疏线索，并且仅对最终音频结果施加监督，论文认为这会导致模型学到的音乐表征质量不高，生成的音乐在音乐性与结构连贯性上表现受限。
引入外部专家做分层监督
针对上述问题，作者提出名为 CMA-OT 的方案，其核心思路是借助一个外部音乐专家模型，对生成器的隐层特征提供分层级的监督信号，以此填补舞蹈线索与音乐信息之间的语义落差，改善表征学习效果。为了让这种分层监督真正落地，研究团队配套设计了课程引导的多尺度学习策略，把音乐知识从专家侧逐步迁移到音乐生成器，使表征学习过程保持稳定。论文将这一整体思路概括为课程引导的多尺度表征对齐，并结合尺度感知的最优传输方法。
软对应化解时间错位
在不同专家尺度上，表征的语义与结构存在差异，直接对齐并不容易。为此作者提出尺度感知的最优传输对齐机制，用软对应的方式刻画分层专家表征与生成器隐层特征之间的匹配关系，从而在存在时间错位的情况下仍能实现细粒度对齐。这一机制与前述课程引导的多尺度学习策略共同构成方法的两块支柱：前者负责在训练进程中安排知识迁移的顺序，后者负责在特征层面建立跨尺度的对应关系。
两项数据集上的评测结果
论文在两个数据集上开展了实验，结果显示 CMA-OT 在节奏同步、感知质量以及整体音乐生成三项指标上均取得当前最优表现。该工作共 12 页、含 9 幅图，已被 ACM MM 2026 接收，并以 arXiv 编号 2609.13118 收录于 cs.AI 与 cs.SD 分类。对关注该方向的读者而言，这项工作的意义在于把监督位置从输出端前移到隐层特征，并用分层专家信号替代单一稀疏线索，为舞蹈驱动音乐生成提供了一条可复用的训练路径。
为什么值得看
引入专家监督和多尺度对齐机制，显著提升了生成音乐的节奏感与结构连贯性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。