论文提出双层Stackelberg框架，端到端联合训练校准与精度
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于arXiv的论文提出，标准的事后校准器可与主干网络通过双层Stackelberg结构进行端到端联合训练。该方法不再需要单独的校准数据集或专门的校准损失，仅用交叉熵同时优化精度与校准，只增加一个超参数即校准器学习率。框架支持从温度缩放、矩阵缩放直到神经网络层的多种校准器，但结果显示直接以最终分类层作为校准器即可得到准确且校准良好的模型，且不增加额外参数。作者称该方法以极小的复杂度提升超过当前最优校准器，并避免多任务学习等场景中独立校准组件带来的成倍开销。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载校准为何成为负担
神经网络灵活通用，但校准表现往往不佳。常见做法是事后校准：先训练好模型，再用一份单独的校准数据集和额外的校准参数去调整输出。这一流程带来额外开销，校准器需要单独优化，之后还要再做一次模型选择。论文正是针对这一串附加步骤提出替代方案，试图把校准从训练之后的独立环节，变成训练过程本身的一部分。
双层结构如何合并两步
作者的做法是把标准的事后校准器与主干网络放进一个双层的Stackelberg结构中做端到端训练。这样就不再需要单独的校准数据集，也不需要专门的校准损失函数，而是用交叉熵同时优化精度与校准。整个改动只引入一个额外超参数，即校准器的学习率。框架本身对校准器的形式没有限制，从温度缩放、矩阵缩放一直到神经网络层都可以接入。
最终分类层即可胜任
尽管框架支持多种校准器，实验结果指向一个更简省的结论：直接把最终分类层当作校准器，就能得到既准确又校准良好的模型，而且不增加任何额外参数。作者表示，这一做法以极小的额外复杂度超过了当前最优的校准器。对于多任务学习等场景，它还避开了独立校准组件带来的成倍开销，因为校准不再作为单独模块重复叠加。
为什么值得看
校准问题长期依赖事后处理，若能在训练中一并解决且不增参数，对模型可靠性与部署成本都有直接影响。
论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。