UniAR框架通过多视角提示学习提升自闭症识别准确率

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对自闭症诊断文本稀缺导致模型难以进行语义推理的问题,UniAR框架被提出。该框架利用大型多模态模型在词、短语和句子层级生成诊断描述,弥补临床报告不足,并设计基于混合专家的多尺度对齐模块,将向量量化的视觉原型与语义表征动态匹配。在涵盖脑部MRI与面部表情的四个基准测试中,UniAR在MRI基准上平均准确率达75.9%,面部基准达91.6%,相比基线分别提升1.5与1.2个百分点。该论文已被ACM MM 2026接收。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

用提示学习补语义缺口

这套名为 UniAR 的框架,瞄准的是自闭症谱系障碍识别中一个长期存在的短板:可用于训练的临床文本报告数量有限,导致此前的识别方案大多只能围绕视觉信息做文章,难以展开具有临床意义的语义推理。研究团队的做法是引入一个大型多模态模型,由它生成词、短语、句子三个层级的诊断描述,用这些分层文本去填补缺失的配对临床报告。换言之,文本不再是训练中稀缺的输入,而是由模型按不同粒度自行产出,再反过来支撑识别任务。作者把这种机制称为多粒度提示学习,并强调其目标是在异构数据变化下保持识别的稳健性。论文提交于 2026 年 9 月 25 日,最新版本为 9 月 28 日的 v2,作者包括 Lei Xin、Zeheng Wang、Jiayin Zhu、Shihong Huang、Fanhu Zeng、Changjiang Jiang、Dengbo He、Yutao Yue 与 Zhenglun Kong。

专家混合做跨模态对齐

仅有生成的文字还不够,关键在于让这些语义与视觉证据对得上。为此框架中设计了基于专家混合的多尺度对齐模块,它的作用是把经过向量量化的视觉原型,与对应粒度上的语义表示做动态匹配。也就是说,词级描述对应某一尺度的视觉原型,短语级、句子级各自对应相应尺度,由专家网络按需分配匹配路径,而不是用一套固定规则统一处理。作者将这一组合视为在语义稀缺条件下实现可解释自闭症筛查的途径,并指出该框架在脑部磁共振与面部表情两类场景上均开展了实验,覆盖四个基准。论文被 ACM'MM 2026 的计算机视觉与模式识别方向接收,同时归类于 cs.CV 与 cs.AI,编号为 arXiv:2609.31298,DOI 为 10.48550/arXiv.2609.31298。

精度提升与适用边界

在四个基准上的实验显示,UniAR 的表现稳定优于此前的先进方法:脑部磁共振基准上的平均准确率较基线提升 1.5 个百分点,面部基准上的平均准确率较基线提升 1.2 个百分点。作者据此认为,该框架在语义稀缺的情形下兼具稳健性与可解释性。需要留意的是,材料给出的适用范围限于脑部磁共振与面部表情两类场景,提升幅度也是相对基线而言的平均值,并未展开说明单一数据集上的波动情况,也未披露推理开销或部署条件。对关注自闭症辅助筛查技术路线的读者来说,这项工作的看点在于把多模态大模型生成的层级描述当作训练信号,并用专家混合机制完成语义与视觉的粒度对齐,从而绕开配对临床报告不足这一常见障碍。

为什么值得看

在临床文本稀缺下,用多模态大模型生成层级描述并多尺度对齐视觉特征,为医学影像诊断提供新解法。

多模态量化对齐基准测试论文

信源1 家

  1. [1]arXiv cs.AI一手信源UniAR: A Unified Framework for Autism Recognition Enhanced by Multi-View Prompt Learning

关键事实

  • UniAR利用大型多模态模型生成词、短语和句子层级的诊断描述,以弥补配对临床报告的缺乏。[1]

  • 该框架设计了基于混合专家的多尺度对齐模块,动态匹配向量量化的视觉原型与语义表征。[1]

  • 在MRI基准上平均准确率为75.9%,面部基准上为91.6%。[1]

  • 相比基线,MRI基准平均准确率提升1.5个百分点,面部基准提升1.2个百分点。[1]

  • 该论文被ACM MM 2026接收,提交于2026年9月25日。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。