新论文提出秩一权重校正的可训练权重平均方法用于OOD检测

论文AI 评分 58/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇被ACCV2026 Workshop接收的论文提出在可训练权重平均(TWA)基础上引入校正方向:用奇异值分解提取权重中靠前的秩一分量,并通过分布内分类目标学习这些分量的贡献。作者指出TWA为每个检查点只分配一个系数,难以单独控制主导权重分量。在ResNet50上,该方法在评测数据集上配合MSP与RankWeight评分时优于微调和标准TWA,有无Outlier Exposure均如此;基于Mahalanobis的评测结果不一,说明收益取决于OOD评分协议。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

方法思路

论文从RankFeat、RankWeight等基于秩的分析出发,认为OOD检测中的过度自信与特征空间、权重空间里的主导低秩成分相关。权重平均直接在参数空间操作并能改善泛化,作者据此把它用于OOD检测。可训练权重平均(TWA)给每个检查点只配一个系数,无法分别调节各个主导权重分量。作者的做法是用奇异值分解取出权重中靠前的秩一分量,把它们当作校正方向,再借助分布内分类目标学习这些方向的作用大小。

实验结果与边界

在ResNet50上,该方法在所用评测数据集上配合MSP与RankWeight两种评分时,表现好于微调和标准TWA,无论是否使用Outlier Exposure都是如此。但换成Mahalanobis评分后结果不一致,作者据此说明收益与所选OOD评分协议有关,并非在所有评测方式下都成立。目标层分析使用MSP与Energy两种评分,结果显示把校正放在分类器附近更有利。

发表信息

该论文由Akito Shinohara与Hiroaki Aizawa完成,被ACCV2026 Workshop on Subspaces in the Era of Foundation Models接收,同时归入计算机视觉、人工智能与机器学习分类,以预印本形式公开,含PDF与HTML实验版本。

为什么值得看

关注OOD检测与权重空间方法的研究者,可看到一种把低秩分析与权重平均结合的轻量改法及其适用边界。

微调论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Rank-1 Weight-Corrected Trainable Weight Averaging for Out-of-Distribution Detection

关键事实

  • 论文将TWA扩展为以SVD提取的靠前秩一权重分量作为校正方向,其贡献通过分布内分类目标学习[1]

  • 作者指出TWA为每个检查点分配单一系数,限制了对主导权重分量的独立控制[1]

  • 在ResNet50上,该方法在评测数据集上配合MSP和RankWeight优于微调与标准TWA,有无Outlier Exposure均如此[1]

  • 基于Mahalanobis的评测结果不一,收益取决于OOD评分协议[1]

  • 使用MSP与Energy的目标层分析显示,校正靠近分类器时效果更好[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。