arXiv 论文用统计力学框架刻画 Transformer 注意力相变
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载论文基本信息
这篇论文以 On the Statistical Mechanics of Attention 为题，于 2026 年 10 月 12 日提交至 arXiv，编号为 arXiv:2610.17347，属于 cs.LG 分类，同时交叉列出 cs.AI、stat.ML 以及凝聚态物理下的无序系统与神经网络、统计力学等方向。作者共四人，分别为 Jerry Yao-Chieh Hu、Yu-An Chen、Maojiang Su 与 Han Liu。论文提供 PDF 与实验性 HTML 两种阅读形式，并附带音频摘要。从分类交叉情况看，该工作试图把机器学习的注意力机制与统计物理、无序系统的分析工具连接起来。
自由能视角下的注意力
论文的切入点是借助现代 Hopfield 模型重新审视 Transformer 注意力的统计力学性质。作者提出一套自由能形式化方法，用来刻画稳健注意力推理所对应的参数区间以及临界阈值。与以往只关注注意力计算过程本身的描述不同，这套自由能景观把查询状态和注意力权重的随机性一并纳入考虑，因此能够反映输入扰动对推理结果的影响。在这一框架下，注意力不再只是一个加权求和算子，而是被看作对应统计力学系统在自由能最小化原理下得到的运动方程，从而把注意力的计算行为与物理系统的演化对应起来。
相变与随机性扩展
基于上述自由能景观，作者识别出注意力在玻璃相与稳健推理相之间存在一阶相变。这意味着在不同参数区间，注意力可能落入推理不可靠的玻璃态，或落入能够稳定给出结果的稳健推理态，两者之间的边界由临界阈值决定。论文随后把分析扩展到查询与键都带有随机性的注意力情形，使结论不局限于确定性输入。作者表示，这些结果共同为刻画一族 Transformer 注意力机制的相结构与推理可靠性提供了严格的统计力学框架。该工作目前为预印本，尚未见同行评审或代码发布信息。
为什么值得看
把注意力推理可靠性映射为相变与临界阈值，为理解注意力何时失效提供理论视角。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。