arXiv 论文给出多层 Transformer 的联合泛化界
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于 arXiv cs.LG 的论文对固定精度 Transformer 的泛化能力做了联合分析，同时考察分布内统计泛化与长度泛化两条轴。作者给出的保证与模型参数量、量化空间以及序列字母表大小相关，并展示了样本数量与训练长度之间的取舍关系：增加训练长度可能比增加样本数量高效得多，且这一效率差距可达指数级。论文称实验结果支持理论预测。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两条泛化轴被合并处理
论文的出发点是：Transformer 语言模型常能处理比训练时更长、更难的问题实例，但理论解释落后于现象。作者认为这类模型的泛化不能只看一个维度。第一个维度是分布内统计泛化，即模型把训练样本上学到的函数推广到同分布的新样本；第二个维度是长度泛化，即模型在给定长度输入上训练后能否外推到更长的输入。此前这两类研究大多分开进行，二者如何相互作用没有定论。该文针对固定精度 Transformer 给出同时覆盖两条轴的分析框架。
界的变量与取舍结论
作者给出的泛化保证与三类量有关：所涉模型的参数规模、量化空间，以及提供序列的字母表大小。在此基础上，论文刻画了样本数量与训练长度之间的权衡关系。核心结论是：提高训练长度在效率上可能远胜于增加样本数量，二者差距可达指数级。这一结论把「用更长序列训练」从工程偏好提升为有理论依据的选择，也解释了为何在序列数据上单纯堆样本未必划算。作者表示实验支持理论给出的预测。
为什么值得看
把「长度外推」和常规泛化放进同一套界里，并给出训练长度与样本量的定量取舍，对关心长序列训练成本的人有直接参考价值。
量化论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。