arXiv 论文提出 DualBudget 稀疏文本扩散框架，在 16K 长度…
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇提交至 arXiv cs.CL 的论文把长上下文扩散模型的开销拆成两份预算：注意力图可用的边数，以及每个 token 激活的专家数。作者提出归一化掩码注意力，区分去噪深度与采样迭代次数，并给出图与计算量的界。名为 DualBudget 的稀疏专家配置在科学摘要、多跳问答、对话和句对预测四类任务上做了分析，长度实验显示在 16K 以内优于所列基线，但随长度增加出现可测的性能下降。消融实验在三个报告分数上变化不一；成本记录显示，在未说明的计时约定下，相对 DiffuSeq 降低 20%。作者明确将训练速度、吸收态、全局连贯性和部署内存等未测量结论排除在外。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载双预算的建模思路
论文把长上下文扩散模型的重复开销归为两类：一是注意力图里可用的边，二是每个 token 激活的专家数量。作者认为这两项应作为独立预算分别约束，而不是笼统假设稀疏化就能保住文档级信息。为此，论文给出归一化掩码注意力的形式，并把去噪深度与采样迭代次数区分开，随后推导出图规模与计算量的界。这一框架把局部、膨胀与全局注意力同条件专家计算放在同一视角下讨论。
实验范围与长度表现
名为 DualBudget 的稀疏专家配置在四类任务上被分析：科学摘要、多跳问答、对话和句对预测。长度研究显示，在 16K 以内该配置相对所列基线取得增益，但随着长度继续增加，性能出现可测量的退化。消融实验在论文报告的三个分数上呈现不一致的变化方向，说明各组件的影响并非同向。论文保留了所提供的全部表格测量值。
成本数字与未覆盖的结论
成本记录给出相对 DiffuSeq 降低 20% 的结果，但该数字依赖一个未说明的计时约定，读者需注意其可比性边界。作者主动把训练速度、吸收态、全局连贯性和部署内存这几类说法与实测观察分开，指出它们并未被测量。这意味着论文的结论集中在所报告的长度与成本指标上，不延伸到更广的部署或收敛性质。
为什么值得看
把长上下文扩散的注意力与专家激活开销统一成双预算框架，并给出可复现的 16K 长度对比与 20% 成本降幅，适合关注长…
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。