DeepMem：字节级语言模型的多尺度记忆架构
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 DeepMem，一种因果多尺度架构，把语义压缩与字节精确保留分开处理。它用可学习的可逆子带变换构造更短的序列层级，并用无损载体与显式细节边带保留字节身份；快速权重记忆块沿编码器运行，在压缩瓶颈处迭代共享状态计算，再由基于注意力的超分辨率解码器恢复字节级表示。在 FineWeb-Edu 与 PG19 上，它的语言建模表现强于参数匹配的字节级 Transformer，在评测的 FLORES 语言上取得最佳宏平均表现，并提升 PIQA 准确率，在代码建模、多选推理与字节级损坏鲁棒性上保持竞争力。瓶颈细化所需计入 FLOPs 约为等效全分辨率推理的 1/7600。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把语义压缩与字节保真分开
DeepMem 是一种因果多尺度架构，出发点在于字节级语言模型虽能摆脱对分词器的依赖、覆盖范围更广，但逐字节按全分辨率处理代价高昂。它的做法是把两件事拆开：语义压缩交给一套可学习的可逆子带变换，由它构造出更短序列组成的层级；字节身份的保持则交给无损载体与显式的细节边带。这样，压缩发生在语义层面，而原始字节信息另有一条通路留存，不必在每一层都以完整分辨率反复计算。
编码器与解码器的分工
在编码器一侧，快速权重记忆块沿网络布置，并在压缩后的瓶颈处进行迭代式的共享状态计算，把多尺度信息逐步汇聚。解码端采用基于注意力的超分辨率结构，把压缩表示还原回字节分辨率的表示。作者把瓶颈处的这种细化与“等效的全分辨率推理”作对比，指出前者所需的计数 FLOPs 明显更少，同时评测吞吐仍保持可比。这一对比针对的是推理阶段的计算量，而非训练成本。
评测表现与适用边界
在与规模匹配的字节级 Transformer 对照时，DeepMem 在 FineWeb-Edu 与 PG19 上取得更强的语言建模表现，并在所评估的 FLORES 各语言上拿到最佳宏平均成绩。它在 PIQA 准确率上有提升，在代码建模、多项选择推理以及字节级损坏鲁棒性方面则保持竞争力。材料给出的适用范围限于上述数据集与任务，未涉及更大规模模型或更长上下文的情形；字节级路线本身面向通用覆盖，但全分辨率处理的开销问题正是该架构试图绕开的部分。
为什么值得看
字节级模型绕开分词器依赖但算力昂贵，这项工作给出压缩与精确保留分离的具体路径和量化收益。
字节论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。