arXiv 论文提出 Continuum Attention 连续注意力算子
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载连续积分替代离散查找
论文提出的 Continuum Attention 是一种因果 Transformer 注意力算子，其核心改动在于不再对离散的键和值做查找，而是改为对一条连续的分段线性记忆曲线做积分。每个查询会在这条曲线上诱导出一个指数形式的相关性密度，随后对密度和插值后的值进行积分，从而得到精确归一化的注意力结果。这一闭式解来自指数矩的计算，并且把半 token 边界处的贡献也纳入其中。作者强调，这种做法仍然保留标准 Transformer 解码器的结构，没有改变整体框架。
梯度与实现代价
在训练所需的梯度方面，论文说明其解析形式只依赖至多二阶的矩，因此可以支持并行的 GPU 实现。复杂度上，该方法保持二次序列复杂度，与常规注意力处于同一量级。这意味着它并非通过降低复杂度来换取效果，而是在相同复杂度框架下改变注意力的计算方式。论文同时指出，更大规模的泛化能力仍是一个开放问题，当前结论主要基于所报告的实验设置。
与 softmax 和 focal 的…
实验部分将 CA 与普通 softmax 以及 focal attention 进行比较。结果显示，CA 的平均验证负对数似然比普通 softmax 低 0.0200 nats/byte，比 focal attention 低 0.0480 nats/byte，并且在所有配对比较中都取得更好结果。此外，在一个独立的验证切片上，CA 相对所选中最强的 softmax 基线取得 0.0457 nats/byte 的优势，并给出了配对的 95% 置信区间。作者据此认为，连续积分是一条值得继续探索的注意力替代路线。
为什么值得看
提出用连续积分替代离散键值查找的注意力新形式，并给出闭式解与实测困惑度优势，值得关注注意力机制演进方向。
信源1 家
关键事实
论文提出 Continuum Attention，用对连续分段线性记忆曲线的积分替代离散键值查找[1]
每个查询沿曲线产生指数相关性密度，积分后由指数矩闭式解得到精确归一化注意力，含半 token 边界贡献[1]
梯度可由至多二阶矩解析求出，支持并行 GPU 实现，保持二次序列复杂度和标准 Transformer 解码器[1]
相比普通 softmax 与 focal attention，平均验证负对数似然分别降低 0.0200 和 0.0480 nats/byte，赢得全部配对比较[1]
在另一独立验证切片上相对最强 softmax 基线取得 0.0457 nats/byte 优势，附配对 95% 置信区间[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。