FlexEE 框架优化卸载式 LLM 推理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载卸载场景下的层数取舍
自回归解码时，模型权重需要在不同层级的存储之间搬运，计算与内存因此同时成为瓶颈。FlexEE 的出发点很直接：少执行几层，单 token 的等待时间就会下降，同时还能省掉一部分权重搬运开销。这套框架面向的正是资源受限、且采用卸载方式的推理部署，把提前退出从一种训练期的想法，做成了解码阶段可用的机制。论文由 Qihu Xie、Ziwei Li、Yi Kang 完成，编号 arXiv:2609.17008，属于 cs.AI 分类。
三层机制支撑可靠退出
要让模型在中间层就给出结果，前提是中间层的预测足够可信。FlexEE 为此设计了逐层退出监督，让每一层都带有可判断是否该停下的信号。退出判断本身也有成本，框架采用自推测解码，在一个 Top-K 的局部词表上做低成本判定，避免为决策再付出一次完整前向的开销。第三块是动态隐藏状态管理，用来保证提前退出后 KV 缓存仍然正确，并让执行过程顾及内存占用。三者合起来，解决的是中间层预测可靠性、退出决策开销与缓存一致性这几个具体障碍。
速度提升与精度代价
在生成任务和下游任务上，FlexEE 都能实现提前退出，而精度下降被控制在很小的范围。端到端加速比在 Llama2-7B 与 Llama3-8B 上分别测得：不卸载权重时为 1.27 倍和 1.25 倍，卸载权重时为 3.16 倍和 2.83 倍。这组对比说明，卸载比例越高，减少层数所带来的收益越明显，因为省下的不只是计算，还有跨存储层级搬运权重的代价。对关注推理部署的读者而言，这意味着在内存紧张、需要把权重放在外部存储的环境里，提前退出是一条可以同时改善延迟与搬运开销的路径，但其效果与模型规模和卸载程度直接相关。
为什么值得看
为显存受限场景下的本地大模型推理提供了显著的加速方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。