arXiv 论文提出可解释的歌唱情感识别框架

论文AI 评分 55/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文提出用少量歌唱专用描述符构建可解释的歌唱情感识别框架,这些描述符覆盖韵律、频谱、语音学与声乐技巧四类。研究用 SHAP 解读模型决策,用 GRAD-CAM 定性评估声乐技巧的学习表征。评估显示,歌唱专用特征能降低跨歌手差异,声乐技巧描述符可提供可解释的表达线索。在 VocalSet 上的域外评测显示,情感表达与真实技巧执行之间存在关联,颤音与咽音被视为情感传达的显著线索,SHAP 显示颤音依赖发音速率这一上下文。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

方法与特征设计

该工作针对歌唱情感识别过度依赖深度学习、难以说明哪些声音特征驱动情感的问题,提出以紧凑的歌唱专用描述符集合作为输入。描述符分为四组:韵律、频谱、语音学与声乐技巧。作者强调歌唱声音应被视为区别于语音的独立信号,因此特征选择围绕歌唱场景展开,而非直接沿用语音情感识别的通用特征。为把预测结果与可测量的声学现象对应起来,研究引入 SHAP 对模型决策做归因,并用 GRAD-CAM 对声乐技巧相关表征做定性观察。

评测发现

评估结果表明,使用歌唱专用特征有助于减小不同歌手之间的差异,声乐技巧类描述符则为歌唱表达提供可解释的线索。作者还在 VocalSet 上做了域外评测,观察到情感表达与真实技巧执行之间存在值得关注的关联。分析把颤音与咽音列为情感传达的显著线索,其中 SHAP 结果显示颤音的作用依赖发音速率这一上下文条件。论文由此论证领域专用特征对可解释歌唱情感分析的价值。

为什么值得看

关注可解释音频情感识别与声乐技术特征工程的研究者,可从中看到特征设计与归因方法的组合思路。

语音论文

信源1 家

  1. [1]arXiv cs.AI一手信源Interpretable Singing Emotion Recognition Using Acoustic and Vocal Technique Features

关键事实

  • 论文提出使用覆盖韵律、频谱、语音学与声乐技巧的紧凑歌唱专用描述符集构建识别框架[1]

  • 研究采用 SHAP 解读模型决策,并用 GRAD-CAM 定性评估声乐技巧的学习表征[1]

  • 评估显示歌唱专用特征可降低跨歌手差异[1]

  • 在 VocalSet 上的域外评测显示情感表达与真实技巧执行存在关联,颤音和咽音是显著线索[1]

  • SHAP 分析表明颤音对发音速率具有上下文依赖性[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。