研究：医疗微调不降低患者端AI风险，只改变风险类型

10月18日周日 02:24论文AI 评分 72/100arXiv cs.AI待复核

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出按风险语言评分的评估框架，覆盖治疗指令、禁忌、剂量表述、紧急分诊提示、高警示药品提及、过度自信断言六类，严重度由三个 LLM 评审组成的集成判定。作者用该框架测试六个 7-9B 指令微调模型（三个通用、三个医疗适配），在 K-QA 的 200 个真实患者问题上评测。结果显示，风险语言与事实幻觉率统计独立（合并 Spearman ρ=-0.065，n=300）；医疗微调未减少总体风险，而是改变风险分布：继续预训练类模型压制高警示药品提及、放大过度自信，临床指令微调模型只压制剂量表述。四类语言锚定类别一致性尚可，两类依赖临床判断的类别一致性偏低。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

评估为何转向风险语言

论文指出，患者端医疗问答正从研究演示走向生产部署，但评测仍以事实正确性为核心。作者认为事实性必要但不充分：一段回答可以有事实依据，却给出若被照做就会伤害患者的指令。为此，框架不再只问答案对不对，而是检查回答中是否出现六类风险语言——治疗指令、禁忌、剂量表述、紧急分诊提示、高警示药品提及、过度自信断言，并按已发表的临床伤害分类体系确定严重程度。严重度判定交给三个 LLM 评审组成的集成，以减少单一评审的偏差。

六个模型的对照结果

实验选取六个 7-9B 指令微调模型，三个通用模型为 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B，三个医疗适配模型为 BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B，测试集是 K-QA 基准中的 200 个真实患者问题。第一个发现是风险语言与事实幻觉率在统计上相互独立，合并 Spearman 相关系数为 -0.065（n=300，95% 置信区间 [-0.18, +0.05]），距离相关系数 0.10，独立性检验 p=0.24。这意味着降低幻觉未必降低风险，两者需要分开度量。

微调改变风险分布

第二个发现针对医疗微调的效果：总体风险没有下降，而是被重新分布。继续预训练式适配（BioMistral、OpenBioLLM）稳定地压低高警示药品提及，同时抬高过度自信断言；临床指令微调（Med42）只压低剂量表述，没有放大过度自信。作者据此认为，不同微调路径会把模型推向不同的风险轮廓，选型时不能只看总分。

自动评审的可靠性边界

框架本身的可信度也被量化：四个有语言锚点的类别，评审间一致性（Krippendorff α）处于中等至较好区间，为 0.53 至 0.71；两个依赖临床判断的类别一致性偏低，分别为 0.19 和 0.31。作者据此标出自动安全评估目前可靠与尚不可靠的环节。论文同时公开了评分量表、评审提示词与评估代码，便于他人复现和扩展。

为什么值得看

医疗问答上线前常用事实正确率把关，该研究说明事实对不等于安全，并给出可复用的风险评分维度与代码。

MistralLlama微调幻觉论文

信源1 家

[1]arXiv cs.AI一手信源Medical Fine-Tuning Reshapes, Not Reduces, Patient-Facing AI Risk: A Rubric-Based, LLM-Judge Evaluation Framework

关键事实

框架按六类风险语言的存在与严重程度打分，严重度由三个 LLM 评审组成的集成分类。[1]
评测覆盖六个 7-9B 指令微调模型，含 Mistral-7B、Phi-3.5-mini、Llama-3.1-8B 及三个医疗适配版本。[1]
风险语言与事实幻觉率统计独立，合并 Spearman ρ=-0.065，n=300。[1]
继续预训练类医疗适配压制高警示药品提及但放大过度自信，临床指令微调仅压制剂量表述。[1]
四类语言锚定类别 Krippendorff α 为 0.53-0.71，两类临床判断类别仅 0.19 与 0.31。[1]

研究：医疗微调不降低患者端AI风险，只改变风险类型

全文梳理

评估为何转向风险语言

六个模型的对照结果

微调改变风险分布

自动评审的可靠性边界

为什么值得看

信源1 家

关键事实

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

OpenAI 研究：智能体安全评测与生产行为存在差距

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出