岩芯矩阵联合港科大CMU开源EdgeRock-4B，KV Cache降99.1%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载开源范围与模态支持
EdgeRock-4B由岩芯矩阵与香港科技大学、卡内基梅隆大学共同推出，模型权重与推理代码都已对外开源。该模型同时具备文本与图像两类输入的推理能力，使用者可以直接获取权重部署，也可以基于公开的推理代码复现其运行方式。从发布形态看，团队把可运行的部分一并放出，而非只提供模型文件，这使得外部团队在评估其长序列表现时具备可操作的基础。
固定显存占用的实现
这一模型最突出的变化在于把长序列推理中的缓存开销做成与长度无关的常量。在256K上下文条件下，其KV Cache固定为72MiB，相比源模型下降99.1%。对应到单条序列，历史状态占用恒为97.76 MiB，输入变长也不会推高这一数值。作为对照，Qwen3.5-4B每处理一个token就要新增32 KiB缓存，到64K时单条序列已达2 GiB；若按512条序列计算，仅缓存就接近1 TiB，需要13张80GB显卡才能放下。EdgeRock-4B把峰值显存控制在61.26 GiB（含模型权重），单张80GB显卡即可承载全部序列。
吞吐与算力节省幅度
在单张Hopper 80GB GPU、32K输入配32K输出的测试设定下，EdgeRock-4B可并行跑512路长推理，输出吞吐达到12124 tokens/s，为源模型Qwen3.5-4B的6.42倍。后者在该场景下的最快配置为批大小64，吞吐1889 tokens/s；Gemma 4 E4B、MiniCPM5-2B、LFM2.5-2.6B的吞吐则落在1700到2200 tokens/s区间。负载适应性方面，16种负载下批大小由32提升至512，加权解码吞吐从4128升至12497 tokens/s；在128K输入后继续生成128K token的长流程中，速度仍稳定在233.7 tokens/s。算力占用上，4K输入时它只需Qwen3.5-4B的24.9% GPU时间，32K输入时进一步降到15.6%。
能力验证与适用边界
除效率指标外，团队还给出了推理正确性方面的结果：在AIME 2024—2026上，EdgeRock-4B平均一次通过率为82.9%，而有界状态模型的最高值为18.8%。这组对比说明固定缓存的设计并未以牺牲解题表现为代价。对读者而言，实际意义集中在部署门槛：原本需要多卡集群才能支撑的512路长序列并发，现在可以在单张80GB显卡上完成，显存预算不再随上下文长度线性膨胀，长输入长输出的服务场景因此具备了单卡落地的可能。
为什么值得看
固定显存占用让长推理与高并发同时成立，直接改变单卡服务容量与每token成本的计算方式。
信源1 家
关键事实
EdgeRock-4B由岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源，权重和推理代码均已开放，支持文本与图像推理。[1]
在256K上下文下，其KV Cache固定为72MiB，相比源模型减少99.1%。[1]
单张80GB Hopper GPU上以32K输入、32K输出运行，开到512路并发，输出吞吐12124 tokens/s，是源模型Qwen3.5-4B的6.42倍。[1]
批量运行时每条序列需保存的全部历史状态固定为97.76 MiB，不随长度变化，峰值显存61.26 GiB含模型权重。[1]
AIME 2024—2026平均一次通过率82.9%，参评的有界状态模型即便做到14B，最好也只有18.8%。[1]
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。