论文提出 ERIM 框架，用显式规则归纳改进多模态上下文学习
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文针对多模态上下文学习（MICL）提出 ERIM 框架。作者指出，现有方法多把 MICL 当作直接的输入输出映射，忽略了从示例中显式归纳规则这一环节，因而限制了性能与可解释性。ERIM 借助多模态大模型的推理能力，构建以规则为中心的 MICL 数据集，为规则归纳引入显式监督，并用混合冷启动监督微调加强化学习的两阶段策略微调模型。实验显示，该框架在多种 MICL 设置下性能一致提升，且正确归纳潜在规则与更强、更稳定的表现直接相关。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在哪
论文把多模态上下文学习中的难点定位在那些脱离上下文就无法定义的任务上：这类任务要求模型从演示样本里找出背后的规则。作者认为，现有做法基本把 MICL 当成直接的输入输出映射来处理，没有把规则的显式归纳与推理单独拿出来做，结果是性能受限，可解释性也不足。这一判断构成了 ERIM 的设计出发点，即把「先归纳规则、再据此作答」这一环节显式化。
ERIM 怎么做
ERIM 是一个统一框架，核心是让模型显式归纳支配演示样本的潜在规则。它利用多模态大语言模型的推理能力，先构建以规则为中心的 MICL 数据集，再为规则归纳环节引入显式监督，使模型在训练中直接学习如何把示例抽象成规则。训练上采用两阶段策略，把混合冷启动的监督微调与强化学习结合起来，先建立基础能力，再通过强化学习进一步优化规则归纳行为。
实验结论
论文报告在多种 MICL 设置下都取得了一致的性能提升，并进一步说明：当模型正确归纳出潜在规则时，性能会更强也更稳定，这为「显式规则归纳是有效路径」提供了直接证据。材料未给出具体数据集名称、基线对比数值或提升幅度，也未说明模型规模与开放情况。
为什么值得看
关注多模态上下文学习与可解释性的研究者，可看它如何把「规则归纳」变成可监督的训练目标。
大模型多模态微调强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。