T²Quant 提出面向扩散语言模型的任务与时间感知量化框架
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
扩散语言模型依靠迭代去噪生成文本，其量化敏感度随任务和去噪步数变化。该研究提出 T²Quant，用无需标签的敏感度信号，在固定比特预算下为不同去噪步分配激活精度。在三个扩散语言模型、六个基准上，T²Quant 在同等预算下把现有量化方法的平均准确率最多提升 6.7 个百分点。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在去噪过程
扩散语言模型与自回归模型的推理路径不同，它通过多轮迭代去噪逐步生成文本，因此量化误差会在不同步骤上累积并产生不同影响。论文指出，量化敏感度并非全局统一：同一模型在不同下游任务上，对精度的要求在去噪各阶段并不一致。这意味着按统一比特宽度压缩激活值，会在某些任务的关键步骤上损失精度，而在其他步骤上浪费预算。
无需标签的敏感度信号
论文进一步给出一个可操作的结论：任务与时间维度的敏感度模式，可以在不依赖真实标签、也不使用任务特定评测指标的前提下被预测出来。T²Quant 正是建立在这一信号之上，把固定的比特预算按去噪步重新分配，让精度落在更敏感的步骤上，从而构成任务感知与时间感知结合的混合精度量化框架。
实验范围与增益
验证覆盖三个扩散语言模型与六个基准。在与现有量化方法相同的比特预算下，T²Quant 一致提高平均准确率，最大增益为 6.7 个百分点。摘要未披露具体模型名称、基准构成与各任务的单独结果，也未说明该方法在推理时的额外开销。
为什么值得看
扩散语言模型的量化难点被拆成任务与时间两个维度，且无需标签即可预测敏感度，对做推理压缩的人有直接参考价值。
量化
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。