注册

Prism：统一多模态模型的双向自教学后训练方法

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 Prism，一种面向统一多模态模型（UMM）的后训练方法。已有做法要么把理解能力当作固定教师来提升生成，要么依赖真实轨迹同时监督理解与生成；Prism 则从模型自生成的交错 rollout 中提取双向监督，把一条耦合轨迹拆成文本链与图像链，分别评估可靠性，再据此构造训练目标。在 SenseNova-U1 上，生成侧 GenEval 从 85.8 升至 89.2，DPG 从 86.1 升至 87.3；理解侧 MME 总分从 2282.6 升至 2311.6，MMVP 从 58.0 升至 62.0。BAGEL 上也观察到一致提升，且构造目标时不依赖外部验证器或人工标注的修正轨迹。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法要解决的问题

统一多模态模型希望在同一模型内同时完成视觉理解与生成。论文指出，现有后训练路线大致分两类：一类把理解能力当作固定的教师信号去改进生成，另一类依赖真实轨迹对理解和生成同时做监督。前者把理解侧固定住，后者需要可用的标注轨迹。Prism 的出发点是绕开这两种约束，从模型自己生成的交错 rollout 中获取监督信号，而不引入外部验证器或人工修正的轨迹。

双向监督怎么构造

Prism 的做法类似棱镜分光：把一条耦合的交错轨迹解耦为文本链与图像链，分别判断两条链的可靠性，再根据可靠性状态为它们构造对应的训练目标。这样监督方向不是单向的——不是只让理解去教生成，而是依据自生成内容的质量决定文本侧和图像侧各自该学什么。论文强调，这一目标构造过程不依赖外部验证器，也不需要外部标注的修正轨迹，因此训练信号来自模型自身的输出。

两个模型上的量化结果

实验在 SenseNova-U1 和 BAGEL 上进行。在 SenseNova-U1 的生成侧，GenEval 由 85.8 升到 89.2，增加 3.4；DPG 由 86.1 升到 87.3，增加 1.2。理解侧 MME 总分由 2282.6 升到 2311.6，MMVP 由 58.0 升到 62.0。论文称在 BAGEL 上也观察到一致的提升，即理解与生成两个方向同时受益，而不是此消彼长。这些数字对应的是后训练阶段的方法效果，比较对象是未使用 Prism 的基线。

适用范围与限制

论文的结论是：从自生成轨迹中构造可靠性引导的自训练目标，可以让生成与理解协同改进，且目标构造阶段不需要外部验证器或外部标注的修正轨迹。材料给出的验证范围限于 SenseNova-U1 与 BAGEL 两个统一多模态模型，指标集中在 GenEval、DPG、MME 与 MMVP 四项。论文未在摘要中说明方法对模型规模、训练数据或算力开销的要求，也未给出与依赖外部验证器的方案在成本上的直接对比。

为什么值得看

统一多模态模型如何同时提升理解与生成是当前难点，该方法给出不依赖外部验证器的自监督后训练路径，并附两个模型上的量化结果。

多模态论文

信源1 家

  1. [1]arXiv cs.AI一手信源Prism: Bidirectional Self-Teaching for Unified Multimodal Models

关键事实

  • Prism 把自生成的交错轨迹拆成文本链和图像链，按各自可靠性构造训练目标[1]

  • 在 SenseNova-U1 上 GenEval 从 85.8 提升到 89.2，DPG 从 86.1 提升到 87.3[1]

  • 在 SenseNova-U1 上 MME 总分从 2282.6 提升到 2311.6，MMVP 从 58.0 提升到 62.0[1]

  • BAGEL 上也观察到一致的提升[1]

  • 构造训练目标时不使用外部验证器，也不使用外部标注的修正轨迹[1]

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

11月6日 周五·AI 72

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

11月5日 周四·AI 68

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

11月5日 周四·AI 78

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%

11月5日 周四·AI 82

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论