MASA 方法利用多模态大模型解决测试时适应自指循环
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对野外测试时适应中模型自我强化错误的问题，研究人员提出 MASA 方法。该方法利用冻结的多模态大语言模型为少量高可靠性锚点生成结构化语义描述，涵盖物体类别及风格、视角等干扰因素。通过将描述编码并传播至邻近样本，构建在线原型记忆，进而检索辅助目标以轻量调整归一化仿射参数。该方法在 ImageNet-C 基准测试的有限批次、混合域及不平衡标签偏移设置下进行了评估。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载解决自指循环问题
野外测试时适应通常在测试批次小、分布并发偏移及类别不平衡的条件下在线更新源模型。现有方法大多从被适配的模型自身获取适应信号，如预测不确定性、样本可靠性及局部特征几何。然而，当源模型在偏移下不可靠时，这些信号会强化其自身的错误，从而形成自指循环。为打破这一循环，新研究引入了外部语义信息作为补充。
稀疏锚点与密集适应
该方法名为 MASA，即多模态大语言模型锚定的语义适应。为了控制推理成本，MASA 仅查询冻结的多模态大语言模型，为少量经过可靠性排序的多样化锚点生成描述。这些描述能够捕捉物体家族以及风格、视角、遮挡等干扰因素。系统将这些描述编码后传播到邻近的测试样本，并将产生的视觉语义信息存储在在线原型记忆中。
辅助目标与参数调整
MASA 从在线原型记忆中进行描述感知检索，以此提供一个辅助目标，用于对归一化仿射参数进行轻量级适应。这种机制利用了外部模型的结构化语义能力，避免了仅依赖内部特征可能导致的错误累积。研究团队在 WTTA ImageNet-C 基准上对该方法进行了评估，测试环境包括有限批次、混合域以及不平衡标签偏移等设置，并使用了 ResNet 和 ViT 作为骨干网络。
为什么值得看
引入外部语义锚点打破模型内部自指循环，提升分布偏移下的适应可靠性。
大模型多模态基准测试
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。