研究审计医学VLM后训练：SFT削弱视觉依赖，GRPO收益不稳定
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载准确率之外的衡量方式
这项研究把医疗视觉语言模型后训练的评价焦点从答案正确率移开，转而观察模型是否真的在用图像做判断。作者在 PMC-VQA 上以 Qwen2.5-VL-3B 为对象做受控实验，比较了若干后训练路线：只对语言模型做低秩适配的监督微调、把多模态适配范围扩大的做法、仅以答案为目标的 GRPO，以及一种反事实证据目标。衡量指标除了正确图像条件下的准确率，还包括视觉获益事件的数量与图像敏感度，用来刻画模型在有无图像时决策是否发生变化。研究在 2000 道干净测试题上给出配对比较结果，并记录样本层面的证据分数、决策余量与生成答案如何随训练推进而改变。
语言模型适配的代价
在干净测试集上，只对语言模型做低秩适配的监督微调，把正确图像准确率抬高了 1.10 个百分点，其 95% 配对自助法置信区间为 -0.85 到 +3.05 个百分点，也就是说这一提升在统计上并不稳固。与此同时，视觉获益事件减少了 2.40 个百分点，图像敏感度下降了 5.60 个百分点。配对记录显示，训练过程中新获得 155 个视觉获益事件，同时丢失 203 个，净变化为负。把适配范围扩大到语言模型之外，得到的正确图像准确率反而低于仅语言模型的低秩适配方案。这提示准确率的小幅波动可能掩盖模型对图像依赖程度的实际变化。
奖励与生成路径的错位
标准 GRPO 在训练中会产生混合奖励组并触发参数更新，但其在干净测试上的准确率变化并不确定。生成审计发现，规范选项分数所走的 token 路径可能与实际生成的答案不同；当分数沿贪心生成路径取值时，证据目标在训练集上有所改善，而在匹配训练剂量下，它在验证数据上相对标准 GRPO 的优势并不一致。样本层面的分析进一步追踪了证据分数、决策余量和生成答案在后训练过程中的联动变化。整体来看，这项审计指出优化活动的强度、目标的获得与真正有用的留出视觉行为之间存在缺口，说明仅凭答案准确率难以判断后训练是否让模型更好地利用了图像。
为什么值得看
揭示医学VLM后训练中准确率提升可能伴随视觉依赖退化，对设计真正利用图像的微调策略具参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。