CAMEO 框架用多图证据生成超声报告,临床评分提升至 74.20

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇被 BMVC 2026 接收的论文提出 CAMEO,用于从多张超声图像生成报告。作者指出,存档关键帧只覆盖动态检查的一部分,直接模仿原始报告会让模型写出图像中无法验证的内容,形成临床行为对齐问题。CAMEO 分三阶段:先学超声视觉语言基元,再通过跨视角证据接地把可信的可见报告要点蒸馏为多图问答与报告式监督,最后用面向临床错误的偏好对做偏好对齐。基于 USReport 构建了 17,670 条证据接地配对图像训练实例与 21,869 对偏好数据,并引入 25,631 条 PubMedVision-US 指令样本做域适应。在 USReport-Distilled 基准上,BLEU-1 从 0.25 升至 0.40,ROUGE-1 从 0.28 升至 0.45,METEOR 从 0.27 升至 0.43,ClinicalScore 从 55.02 升至 74.20。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

原始报告监督的错位

论文关注的任务是从多张超声图像生成检查报告。作者指出,超声检查本身是动态过程,而归档下来的关键帧只记录了其中一部分,因此直接让模型模仿原始报告文本,与模型实际能看到的视觉证据之间存在错位:对完整检查而言临床上成立的内容,未必能从模型拿到的那几张图里得到验证。作者把这一差距称为临床行为对齐问题,并给出模型需要满足的几条要求——保留可见发现、避免诊断方向反转、不做没有依据的补全,同时也不能退化成保守的模板化输出。这一问题的提出方式决定了后续方法的设计方向:监督信号需要与可见证据挂钩,而不是与完整报告文本对齐。

三阶段框架与数据构建

CAMEO 由三个阶段组成。第一阶段学习超声领域的视觉语言基元。第二阶段做跨视角证据接地,把可信的、可见的报告要点蒸馏成多图问答与报告式监督。第三阶段做临床感知偏好对齐,使用的偏好对是围绕临床错误构造的。数据方面,作者从 USReport 出发构建了两个集合:USReport-Distilled 包含 17,670 条证据接地的配对图像训练实例,USReport-Pref 包含 21,869 对偏好数据;此外还使用 25,631 条 PubMedVision-US 超声指令样本,用于域适应与多图指令微调。这套数据构造与三阶段流程是配套的,分别对应基元学习、证据接地监督和偏好对齐三个环节。

基准上的量化结果

在主要的 USReport-Distilled 基准上,CAMEO 相对 EchoVLM 在多项文本生成指标上取得提升:BLEU-1 从 0.25 升到 0.40,ROUGE-1 从 0.28 升到 0.45,METEOR 从 0.27 升到 0.43。更贴近临床的 ClinicalScore 从 55.02 提升到 74.20。作者据此强调证据接地监督、临床感知对齐以及临床结构化评估三者的作用。论文被 BMVC 2026 接收,代码链接已在摘要中给出,arXiv 编号为 2610.11610,提交日期为 2026 年 10 月 8 日。

为什么值得看

医疗多图报告生成的具体做法与量化提升,对做多模态临床落地的人有直接参考价值。

微调蒸馏对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond Report Imitation: Clinically Aware Multi-Image Ultrasound Report Generation from Visible Evidence

关键事实

  • 论文提出 CAMEO,一个面向超声报告生成的临床感知多图证据接地编排框架[1]

  • CAMEO 分三阶段:超声视觉语言基元学习、跨视角证据接地、临床感知偏好对齐[1]

  • 基于 USReport 构建 USReport-Distilled 的 17,670 条证据接地配对图像实例与 USReport-Pref 的 21,869 对偏好数据[1]

  • 另使用 25,631 条 PubMedVision-US 超声指令样本做域适应与多图指令微调[1]

  • 在 USReport-Distilled 基准上 ClinicalScore 从 55.02 提升到 74.20,BLEU-1、ROUGE-1、METEOR 分别升至 0.40、0.45、0.43[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。