JustFit 实现单机 20 万 token 推理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三个机制各管一段
JustFit 是一个基于 MLX 的推理运行时，它把三套机制拼在一起使用。KVExec 负责压缩 KV 的执行方式，PhaseSwap 负责让不同组件按阶段驻留内存，StateTrans 负责在服务切换时保住已有状态。三者的共同点是把重建与调度放在一起处理，按需把状态物化出来、用完再释放，而不是一次性把整段上下文常驻在内存里。论文强调这套做法与模型权重的量化相互独立，也就是说，压缩执行状态和压缩权重是两条互不干扰的路径，可以各自推进。对于在笔记本上跑长上下文的人来说，这意味着内存压力可以从执行状态这一侧单独削减，而不必只依赖把权重压得更小。
容量测试的来龙去脉
容量测试在一台 24 GiB 的 M4 Pro MacBook 上进行，模型为 Qwen3.8-27B MXFP4，采用完整执行模式。三次独立运行都完成了 196,608 个输入 token 与 16,384 个输出 token 的处理，单请求可完成的上下文位置从 mlx-vlm 基线的 30,720 提升到 212,992，约为原来的 6.93 倍。另有一组双请求运行，合计保留 229,376 个位置。这些数字说明提升来自状态管理而非权重格式：输入与输出 token 数在三次运行中保持一致，说明结果可重复；而基线数字与提升后的数字都按位置计，便于直接对照。标题里的 200K 量级正对应这一区间。
速度与内存占用实测
性能测试给出两组数据。一组是 32K 输入、64 输出的探测，达到 19.11 tokens/s；另一组是重复的 32K 加 6K 负载，进程峰值占用中位数为 16,374 MiB。前者衡量的是长输入下的生成速度，后者衡量的是反复执行同类负载时的内存上限。把这两个数字放在一起看，可以在 24 GiB 机器上留出余量，同时维持可用的生成速率。需要注意，这些是特定模型、特定硬件与特定负载下的测量值，换模型或换输入长度后表现可能不同，论文并未给出其他配置的对照。
对本地部署意味着什么
集成后的运行时在 30 道 AIME 2026 题目中答对 29 道，说明在压缩状态、按生命周期执行的前提下，仍能支撑较长的生成式推理过程。对读者的直接含义是：本地编码与推理这类场景，瓶颈不只在权重占用，执行状态的驻留方式同样决定能开多长的上下文。JustFit 的思路是把状态按需生成与释放，并与权重量化解耦，因此可以作为独立的一层叠加在现有方案上。适用范围限于论文所述的 MLX 环境与对应硬件，超出该范围的收益尚无数据支撑。
为什么值得看
大幅降低本地运行大模型的硬件门槛，让消费级设备也能处理超长上下文任务。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。