Where-OPD：基于合成场景空间引导的MLLM自蒸馏方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把空间坐标当老师提示
这项工作针对多模态大模型的后训练提出一种新做法：不再让教师模型去看图像裁剪区域，而是给它一段文字形式的空间指引，指明与问题相关的画面元素在什么位置。教师据此定位并整合多个相关图像区域中的证据，学生模型则只拿到原始图像和问题，被要求复现教师由此得出的行为。与依赖人工标注的定位数据或外部教师模型的方案相比，这种设计把监督信号换成了文本描述，因而不再需要额外的标注流程或第三方模型参与。
合成场景省掉标注
训练素材来自程序化生成的场景，这些场景自带物体身份与空间坐标信息，可以自动获取，无需人工标注，从而支持可扩展的后训练流程。论文报告的结果显示，该方法在计数、文档理解与图表理解等基准上对多个模型都带来稳定提升。更关键的一点是，后训练阶段只使用合成场景，但收益能迁移到真实世界的感知基准上：在 CVBench、V*、ZoomBench、BLINK、HR-Bench 与 MME-RealWorld 上，平均性能提升 3.23 个百分点。
迁移范围超出训练分布
这一结果说明，带有空间定位信息的特权信息可以通过在策略自蒸馏的方式，诱导出更广泛的感知能力，其迁移范围超出了后训练所用的任务与数据分布。对关注多模态模型后训练的读者而言，这意味着合成数据加文本空间指引的组合，可能成为一条绕开人工定位标注与外部教师模型的路径；同时需要注意，材料给出的证据集中在上述感知类基准上，适用边界仍以这些评测所覆盖的能力为限。
为什么值得看
仅用合成场景免标注后训练，即可在多项真实视觉感知基准上取得显著增益，为MLLM感知能力提升提供低成本新路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。