新框架解决开放词汇多模态情感识别数据缺失问题
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载模态缺失下的融合难题
开放词汇多模态情感识别要求系统从多种情感线索中生成自然语言形式的情感标签，而不局限于预先设定的类别。但论文指出，现实场景里采集设备的限制与用户隐私方面的约束，使得完整且同步的多模态数据很难拿到。已有的开放词汇多模态情感识别方法大多按全模态输入来设计，一旦某些模态缺失，特征融合就难以有效进行。另一方面，现有针对不完整模态的融合方案主要面向固定标签的识别场景，无法满足开放词汇条件下依据任意情感语义来引导情感线索融合的需求。这两点构成了该研究要处理的核心矛盾：既要应对模态不齐，又要让融合过程跟随开放的情感语义。
情感原型库做动态约束
论文提出 Affect-Prototype-Conditioned Fusion（APCF）框架，用于不完整条件下的开放词汇情感识别。它是一个无需候选集的生成式框架，把模态贡献学习扩展到由任意情感语义引导的情形。具体做法是构建一个情感原型库，用来显式刻画不同情感所对应的多模态贡献特征，从而在不同情感语义视角下为模态融合提供动态约束。融合时先依据当前可用的模态特征做条件检索与特征聚合，再把经过细化的融合情感表示送入 LLM 解码器，由解码器输出开放词汇的情感标签。这样，缺失模态不再被当作必须补齐的缺口，而是通过可用特征与原型检索共同参与融合。
与固定标签方案的差别
与面向全模态输入的既有开放词汇方法相比，APCF 的着力点在于模态不完整时仍能完成融合；与面向不完整模态的固定标签融合方法相比，它的融合过程由情感语义引导，而非绑定在封闭类别上。论文将这一区别概括为把模态贡献学习延伸到任意情感语义引导的场景，并以情感原型库提供动态约束，替代固定标签语境下的融合策略。在 OV-MERD+ 与 MER-FG 两个数据集上的实验显示，APCF 明显优于当前最优的基线方法。论文于 2026 年 9 月 15 日提交至 arXiv cs.AI，编号 arXiv:2609.16962。
适用边界与阅读价值
从论文描述看，APCF 的适用范围是开放词汇设定下模态不完整的多模态情感识别，其输出为开放的自然语言情感标签，而非封闭类别。方法依赖情感原型库对多模态贡献特征的建模，以及基于可用模态特征的条件检索与聚合，再交由 LLM 解码器生成标签；论文未在摘要中给出原型库规模、缺失模态比例等更细的设定。对关注多模态情感计算的读者而言，这项工作的意义在于把“模态缺失”与“开放词汇”两个条件放在同一框架内处理，并给出可检索原文的完整实验对比，便于进一步核对基线设置与数据条件。
为什么值得看
解决了多模态情感识别中数据缺失与开放标签生成的双重难题。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。