arXiv 论文：grokking 中的秩压缩是结果而非原因
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载研究问题与实验设置
论文关注 grokking 现象：网络在记住训练数据很久之后才突然泛化。此前有观点把这一延迟与权重矩阵有效秩下降联系起来，但秩压缩究竟是驱动 grokking 还是跟随其后，尚无定论。作者在模运算任务上训练一个平均场 MLP 和一个单层 transformer，追踪训练过程中有效秩的变化，并把 grokking 起点定义为测试准确率首次达到 95% 的那一步。
压缩跟随起点而非记忆
实验显示，所有 transformer 都在 250 步内记住训练数据，但 grokking 起点差异很大，从 6500 步到 21000 步不等。无论起点出现得多晚，有效秩最陡的下降都发生在起点之后约 900 步。只记住数据却未泛化的网络，秩压缩幅度明显更小。这说明压缩与泛化相变同步，而不是与记忆同步。
子空间结晶的度量
作者把保留 99% 测试准确率所需的最少顶部奇异方向称为充分子空间。由于该规模会随正确输出与最佳错误输出之间的间隔增大而缩小，他们还统计了把输出偏差控制在 10% 以内所需的方向数。在 transformer 中，这一计数在相变期间从可用方向四分之一以上降到约十分之一，作者称之为子空间结晶。
人为限秩不能加速泛化
为检验因果方向，作者与全秩的因子化对照组比较，直接限制 transformer 的秩。限制 MLP 输入权重的秩会推迟 grokking 起点；限制嵌入的秩则使 20 次运行中有 15 次完全无法 grokking。由此作者认为，压缩是 grokking 的标志而非原因。
为什么值得看
厘清了 grokking 中秩压缩与泛化的先后关系，对理解模型泛化机制和正则化设计有参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。