ViGeo框架将视觉类比扩展至视频域，免微调统一多任务
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把类比从图像搬到视频
这篇论文关注的是视频模型迁移到新任务时的成本问题。常规路径需要为每个新任务单独整理数据并做微调，而视觉类比提供了一种免训练的做法：把任务要求直接放进上下文里说明，模型据此完成推理。不过作者指出，这类类比方法此前基本停留在图像领域。为此他们提出 ViGeo，把视觉上下文学习扩展到视频，核心机制是时空画布补全，也就是让模型在时间与空间构成的画布上补出缺失内容，从而以统一形式承载多种视频任务。论文提交于 2026 年 9 月 27 日，作者为 Chia-Hsiang Kao、Belinda Zeng、Bharath Hariharan 与 Menglin Jia，编号 arXiv:2609.33935，归入计算机视觉与人工智能分类。
严格划分下的泛化表现
评估方式上，作者使用了一套覆盖多种任务的分类体系，并采用严格的训练与测试划分，避免测试任务在训练阶段被见过。结果显示，ViGeo 能够处理训练中未出现的视频操作，也能应对零样本模态，例如事件相机数据。这意味着方法的价值不在于把某一类视频任务做得更准，而在于用同一套类比框架承接差异较大的任务，并在分布外场景中保持可用。对读者而言，如果手头有多个视频任务却缺少逐任务标注与微调资源，这种免训练思路提供了一条替代路径；但它的适用范围仍受限于上下文能否清晰表达任务意图，以及画布补全形式与目标任务是否匹配。
任务内化这一捷径
论文还报告了一种被称为任务内化的现象：当查询所用的格式与某个预训练任务相关联时，这种格式本身会压过演示内容，模型倾向于按格式暗示的任务作答，而不是依据给出的示例。作者进一步说明，这种捷径可以通过加入少量与任务无关的数据来消除。由此得出的提醒是，提示格式与任务身份之间存在相关性，需要在设计时把二者解耦，否则评估结果可能高估模型真正依据示例推理的能力。这一发现对使用上下文学习的人具有直接的操作意义：除了挑选示例，还要留意查询模板是否无意中泄露了任务标签。
为什么值得看
提供免微调适配视频新任务的路径，解决模型泛化与提示格式耦合痛点，对多模态应用有参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。