注册

9B决策模型微调后在症状分类基准上达95.42%准确率

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一项研究把基于Qwen3.5骨干的90亿参数决策模型Clef-Flash，用4比特量化低秩适配（QLoRA）配合差异化学习率，适配到Symptom2Disease基准的24类疾病分类任务上，训练960例、测试240例分层划分，取得95.42%诊断准确率和0.9551的宏F1。该结果高于远程API零样本的61.67%、本地未适配初始化的65.00%，也超过ClinicalBERT的90.90%。由于只在单次前向传播中评估候选logits、不做自回归解码，单条记录推理在单张GPU上不到80毫秒，相对生成式大模型基线报告有31倍加速。作者还提出留一症状（LOSO）反事实扰动框架，用于考察症状层面的证据。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

决策式模型替代文本生成

该研究关注的场景是从患者自述症状自动完成疾病分类。作者指出，这类任务需要在轻量判别模型的速度与自回归大语言模型的上下文理解能力、延迟开销之间取舍。决策基础模型提供另一条路径：把表示直接映射到候选类别，不生成自由文本。研究据此把Clef-Flash适配到Symptom2Disease基准的24类疾病分类任务上。Clef-Flash是一个90亿参数的决策模型，骨干为Qwen3.5。

微调配置与评测结果

适配方法采用4比特量化的低秩适配（QLoRA），并配合差异化学习率；数据按分层方式划分为960例训练、240例测试。模型最终取得95.42%的诊断准确率与0.9551的宏F1。作为对照，论文报告远程API的零样本基线为61.67%，本地未适配初始化为65.00%，ClinicalBERT基线为90.90%。也就是说，适配后的决策模型在这组对比中均处于领先位置。

推理延迟与加速幅度

速度方面，该模型在单次前向传播中评估候选logits，不进行自回归解码。单张GPU上处理一条记录的推理时间不到80毫秒，论文报告相对生成式大模型基线有31倍加速。这一设计把大基础模型的语言能力与低延迟推理放在同一套架构里，指向临床分诊这类对响应时间敏感的使用场景。

症状级反事实解释

为考察症状层面的证据，作者提出留一症状（LOSO）反事实扰动框架。以银屑病为例，移除疾病定义性的症状子句后，预测类别置信度从100.00%降到0.12%，预测结果转向脓疱疮，置信度为99.59%；而移除次要的全身性症状，置信度变化不足0.01%。作者据此认为，基于决策的架构可以同时具备大基础模型的语言能力、低延迟推理和症状级可解释性，适用于临床分诊。

为什么值得看

给出决策式基础模型在临床分诊上的准确率、延迟与可解释性三项具体数据，可与生成式大模型方案直接对比。

Qwen大模型微调量化GPU

信源1 家

  1. [1]arXiv cs.AI一手信源Toward System One Clinical Intelligence: Parameter-Efficient Fine-Tuning and Counterfactual Explainability of Decision Foundation Models

关键事实

  • Clef-Flash是90亿参数决策模型，基于Qwen3.5骨干构建[1]

  • 在Symptom2Disease基准的24类疾病分类上达到95.42%准确率、宏F1为0.9551[1]

  • 对比基线：远程API零样本61.67%、本地未适配初始化65.00%、ClinicalBERT 90.90%[1]

  • 单条记录推理在单张GPU上不到80毫秒，相对生成式大模型基线报告31倍加速[1]

  • LOSO反事实扰动中，去除银屑病定义性症状子句使预测置信度从100.00%降至0.12%，预测转为脓疱疮且置信度99.59%[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论