Meta提出字节级模型蒸馏新方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载字节级蒸馏的动机
Meta FAIR 与华盛顿大学的研究者在一篇题为《突破Token天花板：蒸馏出更小更强的字节模型》的论文中，尝试把知识蒸馏的学习单位从 Token 换成字节。这一想法的出发点在于预测空间的大小差异：Llama 3-8B 的词表包含 128256 个 Token，而字节只有 256 种取值，因此以字节为单位进行预测时，候选集合显著缩小。论文通过缩放定律预测，字节级蒸馏在下游任务准确率上的上限比 Token 级蒸馏高出 4 个百分点。研究团队以 Llama 3-8B 作为教师模型开展蒸馏实验，探索如何将教师模型在 Token 上的概率分布转换为字节层面的监督信号。
两种概率转换方案
离线蒸馏通常只能保留教师概率分布中 top-k 截断后的部分，直接用于字节级监督会丢失信息。为此，论文提出两种转换方案：Marginalize-It 和 End-Of-Token。Marginalize-It 将 Token 的概率聚合后重新分配到对应的字节序列上，End-Of-Token 则在每个 Token 末尾加入一个特殊结束标记，以保留 Token 的边界信息。两种方法都只需要对教师模型进行一次前向计算，即可完成从 Token 分布到字节分布的转换，避免了反复调用教师模型带来的开销。
实验设置与模型规模
实验对比了三种输入表示：纯 Token、普通字节、带结束符的字节，每种表示下又分别采用监督学习和蒸馏两种训练方式，共六组配置。三类学生模型均基于 Transformer 架构，层参数量约为 12.8 亿。其中 Token 学生的总参数约为 18.1 亿，而字节学生的总参数约为 12.8 亿，参数规模更小。这一设置使得字节级蒸馏在模型尺寸上具备优势，同时借助上述转换方案保留教师模型的知识。
对读者的意义
对于关注模型压缩与蒸馏的研究者和开发者而言，这项工作提供了一种思路：通过改变蒸馏的学习单位，在更小的预测空间内传递教师模型的知识，从而可能获得更高的下游准确率上限。字节级表示天然具有更小的输出空间，结合 Marginalize-It 或 End-Of-Token 的概率转换，仅需一次教师前向计算即可完成蒸馏监督信号的构建。实验中字节学生以更少的参数量参与对比，为后续在资源受限场景下部署更小模型提供了参考。
为什么值得看
字节模型蒸馏突破了Token天花板，为构建更小更强的模型提供了新路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。