CASE:冻结多模态情绪模型的外部技能库方法

论文AI 评分 66/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对多模态大模型在语义相邻情绪上系统性混淆的问题,作者提出 CASE,一个面向多模态情绪识别的智能体技能框架。它不改动模型参数,而是维护一个稀疏、可自我进化的 EmotionSkill 库,把成对情绪的判别经验外置,推理时动态检索对应技能来强化边界推理,骨干模型保持冻结。在 CA-MER、DFEW、EMER 三个基准上验证了效果与可迁移性,其中 Qwen3-VL-8B 在 CA-MER 上平均准确率由 46.80% 提升至 59.13%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

多模态大模型借助对多模态证据的推理,把情绪识别的粒度做细了,但在语义相邻、线索高度重叠的情绪之间仍会出现系统性混淆。已有做法多依赖全局参数调整来纠正这类错误,代价高且不够灵活。作者的观察是:情绪混淆高度局部化,更适合用可复用的、针对具体情绪对的专门经验来处理,而不是整体改动模型。

方法:外置技能库

CASE 把成对情绪的判别经验从模型参数中外置出来,形成稀疏且能自我进化的 EmotionSkill 库,学到的经验可持续细化,并能迁移到不同的冻结 MLLM 骨干上。推理阶段按需检索合适的 EmotionSkill,用来强化边界感知推理,骨干模型全程不更新。这样纠错成本落在技能库而非参数上,同一套技能可服务多个模型。

实验结果

在 CA-MER、DFEW、EMER 三个基准上的实验显示,CASE 在通用与情绪专用两类多模态模型上都有效且可迁移。较具体的一组数据是 Qwen3-VL-8B 在 CA-MER 上的平均准确率由 46.80% 升至 59.13%,其余模型也有一致增益。论文篇幅 9 页,含 6 张图、4 张表。

为什么值得看

不改参数、靠外置技能库纠错,为情绪识别这类细粒度任务提供了低成本、可跨模型迁移的路线。

Qwen大模型多模态智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models

关键事实

  • CASE 是面向多模态情绪识别的智能体技能框架,维护稀疏、可自我进化的成对 EmotionSkill 库[1]

  • 推理时动态检索相应 EmotionSkill 强化边界推理,MLLM 骨干保持冻结[1]

  • 在 CA-MER、DFEW、EMER 三个基准上做了实验,覆盖通用与情绪专用多模态模型[1]

  • Qwen3-VL-8B 在 CA-MER 上平均准确率从 46.80% 提升到 59.13%[1]

  • 论文共 9 页、6 图 4 表,提交于 2026 年 10 月 23 日[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。