注册

PILOT 框架将推理视为隐变量，提升多模态嵌入检索表现

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 PILOT 框架，把多模态嵌入中的推理建模为隐变量，并让同一个多模态大模型分别承担先验和后验两种推理模式：先验只依赖输入，后验在训练时额外引入关系证据来引导推理探索。作者推导了重要性加权变分目标，并实现为先验与后验协同演化的框架，在共享的、与推理兼容的奖励下同时改进两种模式，并按效用和先验可达性有选择地把后验轨迹迁移给先验。在 78 项任务的 MMEB-V2 基准上，2B 与 7B 参数版本在全部 12 个任务组上均超过主要基线，总分分别提升 3.2 和 3.3 分，视觉文档检索提升最大，分别为 6.1 和 6.4 分。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

问题出在推理监督方式

论文关注的是推理增强型多模态嵌入模型。这类方法借助多模态大模型的生成能力，在嵌入输入上附加自生成的推理内容，从而得到信息量更大的嵌入表示。但常规的检索监督只规定成对的相关性关系，并不直接指导用于增强输入的推理过程。这种推理既无法被直接观测，也不由输入唯一确定，同一输入可以产生多条看似合理的推理轨迹，它们携带的语义线索对检索的用处并不相同。已有做法大多只以输入为条件来优化推理，对与检索相关的轨迹探索不足。

先验与后验两种推理模式

PILOT 把推理当作隐变量处理，并在同一个共享多模态大模型上实例化出先验与后验两个分布，分别对应两种推理模式。先验只以输入为条件，与推理阶段可用的信息保持一致；后验则在训练时额外引入关系证据，用来引导推理向更广的方向探索。为了让后验更广的探索转化为推理阶段的收益，作者推导了重要性加权变分目标，并把它落地成先验-后验协同演化的框架：两种模式在同一个与推理兼容的奖励下共同改进，后验产生的轨迹则依据其效用和先验能否到达，有选择地转移给先验。

基准上的分项结果

实验在包含 78 项任务的 MMEB-V2 基准上进行，覆盖 12 个任务组。PILOT 在 2B 和 7B 两种参数规模下，于全部 12 个任务组上都超过了主要基线。整体得分分别提升 3.2 分和 3.3 分，提升最明显的是视觉文档检索，分别高出 6.1 分和 6.4 分。作者据此认为，关系监督最有价值的地方在于塑造训练时推理探索的方式，而不是充当事后奖励。

为什么值得看

把检索关系监督从后置奖励改为塑造推理探索的信号，并给出多任务基准上的分项提升数据，对做多模态检索与嵌入训练的人有直接参…

大模型多模态论文

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings

关键事实

  • 论文提出 PILOT 框架，将推理建模为隐变量，先验仅以输入为条件，后验额外使用训练期关系证据。[1]

  • 作者推导重要性加权变分目标，并实现为先验-后验协同演化框架，按效用与先验可达性迁移后验轨迹。[1]

  • 在 78 任务的 MMEB-V2 基准上，2B 与 7B 版本在全部 12 个任务组上均优于主要基线。[1]

  • 整体分数分别提升 3.2 与 3.3 分，视觉文档检索提升最大，为 6.1 与 6.4 分。[1]

  • 论文结论认为，关系监督的价值更多在于塑造推理探索方式，而非作为后置奖励。[1]

相关 · 论文

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

ALPS：分层规划让LLM模拟学生保持长期行为一致

11月1日 周日·AI 62

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论