CASE:冻结多模态情绪模型的外部技能库方法
论文AI 评分 66/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
针对多模态大模型在语义相邻情绪上系统性混淆的问题,作者提出 CASE,一个面向多模态情绪识别的智能体技能框架。它不改动模型参数,而是维护一个稀疏、可自我进化的 EmotionSkill 库,把成对情绪的判别经验外置,推理时动态检索对应技能来强化边界推理,骨干模型保持冻结。在 CA-MER、DFEW、EMER 三个基准上验证了效果与可迁移性,其中 Qwen3-VL-8B 在 CA-MER 上平均准确率由 46.80% 提升至 59.13%。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载要解决的问题
多模态大模型借助对多模态证据的推理,把情绪识别的粒度做细了,但在语义相邻、线索高度重叠的情绪之间仍会出现系统性混淆。已有做法多依赖全局参数调整来纠正这类错误,代价高且不够灵活。作者的观察是:情绪混淆高度局部化,更适合用可复用的、针对具体情绪对的专门经验来处理,而不是整体改动模型。
方法:外置技能库
CASE 把成对情绪的判别经验从模型参数中外置出来,形成稀疏且能自我进化的 EmotionSkill 库,学到的经验可持续细化,并能迁移到不同的冻结 MLLM 骨干上。推理阶段按需检索合适的 EmotionSkill,用来强化边界感知推理,骨干模型全程不更新。这样纠错成本落在技能库而非参数上,同一套技能可服务多个模型。
实验结果
在 CA-MER、DFEW、EMER 三个基准上的实验显示,CASE 在通用与情绪专用两类多模态模型上都有效且可迁移。较具体的一组数据是 Qwen3-VL-8B 在 CA-MER 上的平均准确率由 46.80% 升至 59.13%,其余模型也有一致增益。论文篇幅 9 页,含 6 张图、4 张表。
为什么值得看
不改参数、靠外置技能库纠错,为情绪识别这类细粒度任务提供了低成本、可跨模型迁移的路线。
Qwen大模型多模态智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
