VideoLVR 提出用潜视觉证据替代文本坐标做视频推理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载语言推理痕迹的缺陷
论文关注的是多模态大模型做视频理解时的一条常见路径：用思维链把推理过程写成文字。作者认为，这类基于语言的推理痕迹无法让模型可靠地回到相关视觉证据上，由此产生视觉遗忘，削弱模型对视频内容进行推理的能力。围绕如何在推理过程中维持视觉 grounding，已有做法大致分两类。一类用文本坐标指代证据，坐标给出的是符号化的位置，而不是视觉内容本身；另一类把裁剪出的区域或帧重新插入多模态上下文，视觉细节得以保留，代价是上下文显著扩张。这两类方案分别损失了视觉信息或增加了上下文开销，构成 VideoLVR 要处理的起点。
潜视觉证据怎么构造
VideoLVR 的做法是在相关视频时刻从局部区域构造潜视觉证据，让中间推理步骤获得视觉层面的支撑，而不是仅靠文字描述位置。为了让模型学会生成这种潜视觉证据，作者引入视觉 token 预测目标，把视觉 token 的重建转化为在由输入视频导出的词表上做预测。这样一来，视觉证据重建与文本生成被放进同一个 token 预测框架，模型可以在交错的文本 token 与潜视觉状态之间推理，并把来自不同时刻的证据整合起来。按论文描述，模型在推理中能高效重访任务相关的视觉信息，多模态上下文不会明显扩张。
强化学习扩展与实验
在监督式框架之外，作者把 VideoLVR 延伸到强化学习：采样得到的视觉 token 与文本 token 一样被视为动作，策略用最终答案的奖励进行联合优化。评估方面，论文在多个视频基准上开展实验，报告该方法有效，并特别指出在需要细粒度视觉证据的任务上表现更突出。材料未给出具体基准名称、对比基线或提升幅度，因此这些方面的细节需查阅原文。
为什么值得看
为视频多模态推理提供了一条不靠扩上下文就能反复调取视觉证据的技术路线，关注 MLLM 视频理解的人值得看。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。