JustFit 实现单机 20 万 token 推理
论文AI 评分 75/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
JustFit 是一种基于 MLX 的推理运行时，通过即时状态管理机制，在 24 GiB 内存笔记本上实现了长上下文模型服务。测试显示，在 M4 Pro 设备上运行 Qwen3.8-27B MXFP4 模型时，单请求上下文容量从基线的 3 万提升至 21 万 token，吞吐量达 19 tokens/s，且在 AIME 2026 测试中保持了高准确率。
为什么值得看
大幅降低本地运行大模型的硬件门槛，让消费级设备也能处理超长上下文任务。
Qwen
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。