TokenGate：可学习 token 剪枝加速 LLM 预填充

10月20日周二 01:15论文AI 评分 78/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

TokenGate 是一个小型即插即用组件，用于扩展已训练模型，在长上下文输入上实现端到端可学习的 token 剪枝，从而加快预填充并降低内存占用。为解决 top-K 剪枝不可微分的问题，作者提出 token-gated attention，借鉴 MoE 思路，用 token 重要性分数重新加权注意力 logits。在多种任务上，预填充的首 token 时延（TTFT）快 1.4 至 11.3 倍，峰值内存降低 1.5 至 3.4 倍，且精度不下降；相比此前最优的 token 剪枝方法，预填充最多快 6.4 倍、峰值内存低 2 倍。该方法可原生扩展到标准 Transformer（如 Qwen3）与混合注意力模型（如 Qwen3.5），适配成本与常规参数高效微调相当，代码已公开。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法思路

论文把人类阅读长输入时的略读行为作为类比：人只精读关键部分，而语言模型会让每个 token 逐层通过全部网络层，长上下文因此带来高昂处理开销。TokenGate 的做法是在已有训练好的模型上外挂一个小型组件，使 token 剪枝成为端到端可学习的过程，而不是依赖固定启发式规则。难点在于剪枝所用的 top-K 选择不可微分，无法直接反向传播；作者因此设计 token-gated attention，参考混合专家（MoE）的思路，用 token 重要性分数对注意力 logits 重新加权，让模型在训练中自行学会保留哪些 token。

实测收益与对比

在多种任务上，TokenGate 对 Transformer 预填充带来 1.4 至 11.3 倍的首 token 时延（TTFT）加速，峰值内存降低 1.5 至 3.4 倍，且精度没有下降。与表现最好的既有 token 剪枝方法相比，其预填充最多快 6.4 倍，峰值内存最多低 2 倍。这些数字针对的是预填充阶段，也就是模型处理输入、生成第一个 token 之前的那段计算，长上下文场景下这一阶段往往是时延与显存的主要来源。

适用范围与获取方式

TokenGate 可原生扩展到两类模型：标准 Transformer（论文以 Qwen3 为例）和混合注意力模型（以 Qwen3.5 为例）。适配方式轻量，成本与常规参数高效微调相当，意味着不需要从头重训基座模型。作者已公开代码，便于复现与在自有模型上试验。论文提交于 2026 年 10 月 19 日，编号 arXiv:2610.26754，归入 cs.CL 与 cs.AI 分类。

为什么值得看

长上下文预填充的时延与显存是实际部署瓶颈，该方案以轻量适配换取数倍加速且不掉精度，并给出与已有剪枝方法的对比数据。

Qwen微调MoE

信源1 家

[1]arXiv cs.AI一手信源TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning

关键事实

TokenGate 是小型即插即用组件，让已训练模型支持端到端可学习的 token 剪枝[1]
提出 token-gated attention，用 token 重要性分数重加权注意力 logits，以绕开 top-K 不可微分问题[1]
预填充 TTFT 快 1.4 至 11.3 倍，峰值内存低 1.5 至 3.4 倍，精度不下降[1]
相比此前最优 token 剪枝方法，预填充最多快 6.4 倍、峰值内存低 2 倍[1]
可扩展到标准 Transformer（如 Qwen3）与混合注意力模型（如 Qwen3.5），代码已公开[1]

TokenGate：可学习 token 剪枝加速 LLM 预填充

全文梳理

方法思路

实测收益与对比

适用范围与获取方式

为什么值得看

信源1 家

关键事实

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

Pixel-UMI：从传感器化人类演示学习全身操作策略