新方法仅优化10万偏置参数实现测试时强化学习
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载只调偏置项的做法
这项研究把测试阶段的强化学习压缩到一个极小的参数空间里。具体做法是保持预训练主干网络完全冻结，只对偏置参数做优化，可训练部分规模约为十万量级。奖励信号不依赖人工标注，而是用多次采样结果做多数投票，把投票结论当作伪标签反馈给模型。也就是说，奖励来源和可调空间同时被大幅收窄：一边是没有真实标签的投票结果，一边是仅占模型极小比例的偏置项。作者把这一组合称为无标签的偏置项测试时强化学习，并围绕它设计实验，检验在这种双重限制下是否仍能产生有效的测试时适应。
76.67%与七万六千倍
在 MATH-500 上，该方法取得 76.67% 的准确率，略高于作者自己复现的、使用真实标签的偏置引导方案。更受关注的是参数量对比：与全参数测试时强化学习相比，它优化的参数少了 76,000 倍。这个倍数来自可训练规模与全参数微调规模之间的差距，而非训练步数或数据量的差异。换句话说，达到相近甚至略好的成绩时，需要改动的权重数量被压到极低水平，主干网络的知识没有被重写，只在其上叠加了一层轻量的偏置调整。
跨任务与迁移表现
同一套训练流程并不局限于数学推理。材料显示，它在视觉语言与音频推理任务上同样带来提升，涉及 MathVista、AI2D、LogicVista 和 MMAU。作者还检验了适应是否只对测试时用过的题目有效：把学到的引导向量迁移到 4,500 道留出的 MATH 题目上，结果仍然成立，说明这种调整具有一定的泛化性，而非对特定题目的记忆。适用范围上，方法依赖多次采样与投票机制，因而需要模型能对同一输入产生多个候选答案；可训练对象被限定为偏置项，主干保持不动，这既是效率来源，也是能力边界。
为何极小空间也有效
作者进一步解释了这种高度受限的适应为何能奏效。一方面，多数投票的可靠性会随采样结果一致性的提高而上升，投票越集中，伪标签越可信，奖励信号也就越稳定。另一方面，不同偏置子空间可获得的梯度能量存在差异，梯度能量更大的子空间在下游表现出更强的可训练性。这两点共同说明，即便只动十万量级的偏置参数、且完全没有真实标签，模型仍能在测试阶段获得可观的适应能力。对读者而言，这意味着测试时强化学习的成本门槛可能被显著降低，但效果仍取决于投票共识质量与子空间的梯度条件。
为什么值得看
大幅降低测试时适应的计算成本，无需人工标注即可提升模型推理能力。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。