BiCFlow-MER提出基于条件流的多模态情感识别新框架
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对音频-文本情感识别中情感线索与说话者风格及词汇内容纠缠、跨模态冲突难以整合的问题，BiCFlow-MER框架将识别构建为结构化情感空间内的生成式证据传输。该框架把情感证据从风格与内容中解耦，构建冲突感知条件，通过双向整流流将话语传输至显式情感端点，并利用自适应原型云评分与反向一致性进行联合验证。实验表明，该方法在IEMOCAP、MELD及零样本CASE基准上均超越所有对比方法，确立了融合判别与生成的新范式。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载多模态情感识别痛点
在音频与文本结合的情感识别任务里，情感线索常和说话者风格及词汇内容相互纠缠，且跨模态间的不一致让证据整合变得复杂。传统判别式融合将多模态证据压缩为最终预测，未能充分保留模态特有线索与冲突信息；而大型生成式情感模型将推理嵌入语言解码，导致情感证据隐含且难以在结构化空间中验证。
条件流框架与解耦机制
为克服上述局限，BiCFlow-MER采用条件流框架，把识别过程转化为结构化情感空间内的生成式证据传输。框架先将情感导向的证据从说话者风格与词汇内容因素中解耦，以此构建具备冲突感知能力的情感条件。在该条件引导下，每条话语通过双向整流流被传输至一个显式的情感空间端点。
联合验证与实验表现
针对传输后的端点，框架通过自适应原型云评分，以及反向的类别到条件与原始多模态条件的一致性检查，实现对候选情感的联合验证，从而达成冲突感知识别。实验结果显示，该框架在IEMOCAP、MELD以及零样本CASE这三个基准测试中，性能均优于所有对比方法，通过条件传输协调判别识别与生成式证据建模，定义了新的情感识别范式。
为什么值得看
解决多模态情感识别中跨模态冲突与线索纠缠难题，在三个基准上刷新表现，提供判别与生成融合新范式。
多模态
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。