arXiv 论文追踪 8.4B 多模态模型三阶段训练的能力取舍
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文以 8.4B 参数多模态模型为对象，在日语金融文档上依次进行视觉-语言对齐、推理蒸馏与领域微调三个阶段训练，并在五个文本输入基准上评估。结果显示三个阶段并非简单叠加：仅做数学蒸馏会覆盖此前获得的金融知识，但程序性数学能力得以保留；领域阶段更多是修复已有能力，而非新增能力。跳过某一阶段的消融实验在领域知识上表现最好，却损失了数值推理收益，说明各阶段贡献不可分解，最佳检查点取决于任务。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实验怎么做的
论文把多模态基础模型的后训练拆成串联的三段：视觉-语言对齐、推理蒸馏、领域微调。跟踪对象是一个 8.4B 参数的模型，起点是未做微调的基线，随后依次走完三个阶段。评估落在日语金融文档这一垂直场景，使用五个以文本为输入的基准来衡量各阶段前后的能力变化。作者关心的问题不是再加一个训练阶段，而是每个阶段究竟让哪些能力上升、让哪些能力下降。
阶段之间互相干扰
结果显示三个阶段的作用不能相加。只做数学蒸馏时，模型此前在金融文档上获得的领域知识被覆盖，但程序性数学能力保留了下来，说明被冲掉的是知识内容而非解题流程。领域微调阶段的表现也不是从零安装新能力，更多是把已有能力修复回来。这意味着按阶段累加收益的直觉不成立，前一阶段的成果可能被后一阶段改写。
检查点选择依赖任务
跳过某一阶段的消融实验给出了另一组取舍：省去该阶段后领域知识表现最好，代价是失去数值推理方面的提升。由此作者认为各阶段的贡献无法拆开单独归因，哪个检查点最优取决于下游任务是什么。这一结论的落点是检查点保留与训练调度策略，而不是继续堆叠新的训练阶段。
为什么值得看
做多模态模型分阶段后训练的人可据此判断阶段顺序与检查点保留策略，避免后一阶段冲掉前一阶段能力。
多模态微调蒸馏对齐数学能力
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。