MedCBR 两阶段对齐框架提升医疗视觉语言模型诊断推理

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对医疗视觉语言模型对齐目标奖励错误行为的问题,作者提出 MedCBR 两阶段框架。第一阶段用经验通过率在模型能力前沿构造反事实边界偏好对,这些偏好对共享推理前缀、在关键诊断分支处分叉,再以难度加权边界偏好优化(DBPO)把学习集中在标定后的边界区域。第二阶段从边界轨迹中蒸馏可复用的临床评分细则,按预测熵激活,用熵门控接地策略优化(EGPO)同时奖励答案正确性、解剖接地与推理保真度,并在可靠样本上抑制细则噪声。以边界对齐模型为参考策略,耦合群体级边界先验与实例级不确定性。六个医疗基准上平均准确率 61.2%,在困难鉴别诊断任务上提升最大;消融显示两阶段组合收益超过各自增益之和。论文被 MMAsia 2026 接收。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

现有对齐目标的问题

医疗诊断推理要求视觉证据与临床知识之间建立可核验的关联,但现有医疗视觉语言模型所用的对齐目标奖励了错误行为。均匀的监督微调让简单样本主导参数更新,临床上关键的边界病例则过早饱和,模型在这些病例上不再获得有效学习信号。另一类做法只依据最终答案是否正确给出稀疏奖励,这种信号无法评估解剖定位是否准确、临床逻辑是否成立,模型因而可能通过答案捷径获取奖励,形成奖励黑客。论文把这两点作为设计新框架的出发点,目标是把学习信号集中到模型能力边界附近,并让奖励覆盖推理过程而非只看结论。

边界偏好与难度加权

MedCBR 的第一阶段在模型能力前沿构造反事实边界偏好。具体做法是借助经验通过率确定哪些样本处于边界区域,并构造共享同一推理前缀、但在决定性诊断分支处分叉的偏好对,使模型需要区分的正是导致结论不同的关键一步。在此基础上,难度加权边界偏好优化(DBPO)按难度分配学习权重,把更新集中在经过标定的边界区域,避免简单病例稀释梯度。这一阶段解决的是「学哪里」的问题:不是均匀地学全部数据,也不是只学最难的样本,而是学模型当前恰好处于会与不会之间的那部分病例。

熵门控的评分细则强化

第二阶段从边界轨迹中蒸馏出可复用的临床评分细则,并依据预测熵决定何时启用。熵门控接地策略优化(EGPO)在奖励中同时计入答案正确性、解剖接地与推理保真度三项,对模型预测较为可靠的样本则抑制评分细则带来的噪声,避免细则本身干扰已经稳定的判断。框架还引入一个锚定到边界对齐模型的参考策略,把群体层面的边界先验与单个实例的不确定性结合起来。这样,评分细则不是对所有输入一律施加,而是随模型自身的不确定程度动态介入。

实验结果与适用范围

在六个医疗基准上,MedCBR 相对通用模型、专科模型与强化学习基线均取得一致提升,平均准确率为 61.2%,其中在较困难的鉴别诊断任务上收益最大。消融实验显示两阶段组合带来的增益超过两个阶段单独改进之和,说明边界偏好与评分细则强化之间存在互补关系。论文共 10 页、含 4 幅图,被 ACM Multimedia Asia 2026(MMAsia 2026)接收,归属计算机视觉与人工智能方向。材料未给出各基准的单项分数、训练数据规模与算力开销,也未说明该框架在非医疗领域的迁移效果。

为什么值得看

医疗多模态模型的对齐目标设计直接影响诊断可靠性,该工作给出可复用的边界偏好与评分细则方法。

强化学习蒸馏对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Aligning Medical Vision Language Models at the Capability Boundary with Entropy Adaptive Rubric Grounding

关键事实

  • 论文提出 MedCBR,将边界感知偏好优化与基于评分细则的强化学习结合为两阶段对齐框架[1]

  • 第一阶段用经验通过率构造反事实边界偏好对,偏好对共享推理前缀、在决定性诊断分支处分叉[1]

  • 第二阶段按预测熵激活从边界轨迹蒸馏出的临床评分细则,奖励答案正确性、解剖接地与推理保真度[1]

  • 在六个医疗基准上平均准确率达到 61.2%,困难鉴别诊断任务提升最大[1]

  • 消融实验显示两阶段组合的增益超过两阶段各自改进之和,论文被 ACM Multimedia Asia 2026 接收[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。