注册

论文分析语言模型 logit 几何：训练后斜率 α 升至约 1.4–1.7

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文对自回归语言模型每一步输出的词表规模 logit 向量做经验分析，发现按序排列的词表头部 logit 在不同预测上下文、架构与规模下都近似满足 z_(r) ≈ μ − α log r 的对数线性关系，并在预训练过程中逐步显现。作者称这是首次系统分析此前解码工作所依赖的分布假设背后的 logit 几何。受控的次序统计基线可解释大部分对数线性形态，却无法解释斜率 α 的系统性偏移：训练后的模型 α 约为 1.4–1.7，明显高于初始化时的约 0.2；且 α 与预测性能相关。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

对数线性形态的发现

论文关注自回归语言模型在每个预测步骤产生的词表规模 logit 向量，其结构决定下一个 token 的条件分布。作者通过经验分析指出，把词表按 logit 从高到低排序后，头部 logit 与序号的秩之间呈现相当一致的对数线性关系，形式为 z_(r) ≈ μ − α log r。这一形态在多种预测上下文、不同架构与不同规模上都成立，并且在预训练过程中逐步显现，而不是一开始就存在。作者强调，此前解码相关研究往往直接对分布形态作出假设，而这项工作把假设背后的 logit 几何本身作为分析对象，并称这是首次对这一问题做系统考察。

基线能解释什么、不能解释什么

为判断上述形态是否只是统计上的必然，作者构造了受控的次序统计基线，覆盖有界分布、轻尾分布以及尾部更重的分布。这些基线能够解释观测到的对数线性几何的很大一部分，说明该形态本身未必来自语言特有的学习过程。但基线无法解释斜率 α 的系统性偏移：训练后的语言模型 α 落在约 1.4 到 1.7 之间，而初始化状态下 α 约为 0.2，两者差距明显。作者据此认为，α 承载的是超出一般极值效应的、被学习到的结构。

斜率与性能的关联

论文进一步报告，斜率 α 与预测性能之间存在相关性。这意味着 α 不只是描述分布尾部形状的几何参数，还可能反映模型在训练中获得的、与预测能力相关的结构信息。作者由此提出，α 可作为观察训练进展与模型行为的一个经验指标。需要注意的是，材料给出的是相关性结论，并未说明因果方向，也未给出可用于工程决策的阈值或操作建议。

为什么值得看

把解码所依赖的 logit 分布假设量化成可测的斜率指标，并给出与性能相关的经验证据。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源The Geometry of Language Model Logits: Generic Structure and Learned Departures

关键事实

  • 论文发现按序排列的词表头部 logit 在不同预测上下文、架构与规模下近似满足 z_(r) ≈ μ − α log r 的对数线性关系，并在预训练中逐步出现。[1]

  • 作者称这是对先前解码工作所用分布假设背后 logit 几何的首次系统分析。[1]

  • 受控的次序统计基线覆盖有界、轻尾与更重尾分布，可解释大部分观测到的对数线性形态，但无法解释斜率 α 的系统性偏移。[1]

  • 训练后的语言模型 α 约为 1.4–1.7，高于初始化基线的约 0.2，且 α 与预测性能相关。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论