注册

研究提出低比特 N-Gram 嵌入，可省约 75% 表内存

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文研究把语言模型的 n-gram 嵌入表以低精度存储。作者指出，DeepSeek-V4.1-Flash 的 Engram n-gram 记忆占用 1960 亿参数。在 nanochat、Llama、GPT-2 系列从零训练的模型上，四比特表节省约 75% 的表内存，同时保留超过 99% 的验证损失改善；比特数更低时性能下降更多，但短时间微调能挽回相当一部分损失。把省下的内存用于扩大表，可在更低内存下超过原全精度表的表现。在 DeepSeek-V4.1-Flash 与 Qwen3.8-Flash-Next 上，低比特表节省 47% 至 55% 的表内存，困惑度上升不到 1.2%，下游任务表现基本保持。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

把 n-gram 表压到低位宽

不少开放权重语言模型会引入 n-gram 嵌入表，用来存放连续两个或三个 token 这类短序列的可学习表示，模型在推理时按需取用。这类表能带来效果提升，代价是占用大量参数预算。论文以 DeepSeek-V4.1-Flash 为例，指出其 Engram n-gram 记忆分配了 1960 亿参数。作者由此提出的问题是：能否在不丢掉表格带来的收益的前提下，把这份记忆开销压下来。他们的做法是让 n-gram 嵌入以较低精度存储，并对不同量化方式、以及各张表之间的比特分配做了系统考察，而不是只试一种配置。

四比特省下约四分之三

实验覆盖从零训练的 nanochat、Llama 与 GPT-2 系列模型。结果显示，采用四比特表可节省约 75% 的表记忆，同时保留加入 n-gram 表所带来的验证损失改善中的 99% 以上。比特数继续下调，性能回落更明显；不过作者发现，加一个较短的微调阶段，能把损失回来的相当一部分补上。另一条路径是把省下的记忆重新投回表格本身：扩大表规模后，效果可以超过原来的全精度表，而总占用仍低于原方案。这为容量分配提供了新的取舍空间。

大模型上的迁移表现

作者还把低位宽方案用到已有的大模型上。在 DeepSeek-V4.1-Flash 与 Qwen3.8-Flash-Next 上，低位宽表节省了表格记忆，困惑度上升幅度低于 1.2%，下游任务表现大体保持。论文给出的结论是，低比特精度可以作为降低 n-gram 嵌入记忆需求的一种可行手段，并把腾出的容量用于进一步提升模型表现。对关注显存与参数预算的读者来说，这意味着 n-gram 记忆不必按全精度来规划，四比特是一个在效果与占用之间较为稳妥的起点，更低位宽则需配合微调来弥补。

为什么值得看

n-gram 嵌入表内存开销大，论文给出可量化的压缩方案，并验证了在已有大模型上的效果。

DeepSeekGPTLlamaQwen微调

信源1 家

  1. [1]arXiv cs.AI一手信源Low-Bit N-Gram Embeddings for Language Models

关键事实

  • DeepSeek-V4.1-Flash 的 Engram n-gram 记忆分配了 1960 亿参数[1]

  • 在 nanochat、Llama、GPT-2 系列从零训练的模型上，四比特表节省约 75% 表内存，保留超过 99% 的验证损失改善[1]

  • 比特数更低时性能下降更大，短时间微调可恢复相当一部分损失[1]

  • 把省下的内存投入更大的表，可在使用更少内存的同时超过原全精度表的表现[1]

  • 在 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 上，低比特表节省 47% 至 55% 表内存，困惑度上升不到 1.2%[1]

相关 · 论文

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

Pixel 全栈机器人系统：软硬件协同设计实现通用移动操作

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论