研究质疑神经厚块假说，提出免训练PSV推理方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载对神经厚块假说的再检验
论文针对神经厚块假说展开复现与再检验。该假说认为，预训练语言模型位于权重空间中任务专家所在的稠密邻域内，随机高斯扰动可以揭示这些专家。作者表示复现了此前报告的增益，但认为这些增益不足以支撑上述几何解释。他们给出的替代路径是：只对单个解码器块施加扰动，就能找回大部分改进；在模型参数完全冻结的前提下，向输出 logits 加入随机偏置，在多数推理任务上即可匹配甚至超过全权重扰动的效果。这一结果把讨论焦点从权重空间的邻域结构，转移到输出层面的多样性上。
PSV 流程与推理期方法
作者把上述观察形式化为 Perturb-Select-Vote（PSV）：先产生一批受扰动的预测器，再用一个小规模验证集挑出表现较好的成员，最后聚合这些成员的预测结果。按这一解释，神经厚块与已有的推理期方法属于同一类思路，包括采样、自一致性以及由验证器引导的选择。论文还做了一阶分析，指出小幅权重扰动的作用主要体现为它引起的 logit 偏移，而非权重邻域本身携带的专家信息。这意味着，原本归因于邻近权重专家的收益，可以通过输出多样性、筛选与投票获得。
向视觉任务的扩展
论文把分析延伸到视觉领域。在域偏移条件下，logit PSV 带来明显性能提升，涉及对地观测等场景；相比之下，全权重扰动几乎没有额外贡献。作者据此强调，logit PSV 在语言与视觉任务上都能以完全冻结的模型实现上述收益，是一种无需训练、可替代全权重扰动集成的方案。对实践者而言，这一结论指向更低的实现成本：不必改动模型权重，只需在输出层引入扰动并配合验证集筛选与投票。
为什么值得看
如果增益主要来自输出多样性与选择投票，那么无需训练、冻结模型即可获得集成收益，这会影响推理期集成方案的设计。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。