Fireworks发布Ember-1模型,推理token减少40%且保持Kim…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载少四成 token 保质量
Fireworks Research 推出了一款名为 Ember-1 的专用模型,它的定位是在保持 Kimi K3 同等质量的前提下,把推理过程中消耗的 token 数量减少 40%。这一模型建立在 Kimi K3 之上,训练目标是让它学会砍掉多余的推理步骤,同时保留真正影响答案的那部分思考。官方给出的验证方式覆盖三个层面:外部基准测试、真实客户的线上 A/B 测试,以及团队自身在编码和智能体工作负载上的实测,据称在这些场景中质量都没有出现下滑。Ember-1 发布当天即可使用,它也是 Fireworks 一系列专用模型的开端,后续方向将参考开发者提出的需求来确定。
降推理强度行不通
推动这一模型出现的直接原因来自用户反馈:使用者希望以更低的成本获得 K3 的编码能力,因为 K3 较长的推理链路让自动化编码在规模化时开销偏高。团队尝试过调低 K3 的推理强度,但这条路没有走通——降低强度设置后,质量损失过大。要在保住质量的同时压缩 token,模型必须学会更高效地推理,而这只能靠训练来实现。为此团队投入了相当规模的研究工作,累计运行了 50 多次训练实验和 200 多次评估,并在过程中开发了新的训练算法,用来在缩短推理长度的同时不牺牲准确率。整个训练过程在 Fireworks Serverless Training 上完成,由于不需要自行准备或管理 GPU,有想法就能立刻启动实验,费用按实际运行量结算,从研究到发布的周期和成本都大幅缩短。
训练数据与评测口径
在训练数据的选取上,团队覆盖了较广泛的任务类型,目的是让节省下来的 token 能够迁移到多种工作负载中,而不是只在单一场景生效。官方说明训练使用的是自有数据,没有使用客户数据。验证环节则结合了 Specialized Intelligence Index、公开基准以及线上生产流量,用来确认 token 用量下降的同时质量没有退步。材料还提到,Ember-1 在 Bedside Bench 上为 Specialized Intelligence Index 划出了一条帕累托前沿,并且团队把帕累托的评估扩展到了更多行业基准上。此外,内部验证的一个细节是,Fireworks 自己的开发者在实际使用中并未察觉到差异。Ember-1 属于 Fireworks 自研模型,也是 Fireworks Research 系列模型中的第一个。
为什么值得看
直击推理模型成本痛点,证明通过定向训练可大幅削减推理token而不降质,为大规模自动化编程降本。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
