新框架通过对比建模提升多模态上下文学习推理能力

信源1 家

1. [1]arXiv cs.AI一手信源Beyond Surface Imitation: Contrastive Modeling for Reasoning Path Alignment in Multimodal In-Context Learning

关键事实

• 新框架结合了对比演示建模与多模态大语言模型的自我精炼能力。[1]

• 方法通过对比同一输入下的次优响应与更优响应，明确推理路径。[1]

• 引入响应条件检索机制，选择与当前响应推理路径更相关的演示。[1]

• 实验在三类多模态任务中验证了性能提升，视觉问答任务增益明显。[1]

相关 · 论文