Fireworks AI推出FireRouter with Opus,编码成本…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载路由按任务逐轮评估
FireRouter 的工作方式是按用户的每一轮输入来做判断。系统先看当前这一轮任务适合集合里的哪个模型,再估算每个模型处理该任务的费用,其中把提示缓存的成本也算进去,并判断为了换模型而丢掉缓存命中是否划算。综合质量与成本之后,请求被交给那个平衡得最好的模型。目前一轮输入会在 Claude Opus 5.5、GLM 5.3 和 GLM 5.3 Flash 之间做选择,随着新模型和新版本出现,这个可选集合也会调整。FireRouter 被描述为市场上首个具备缓存感知能力的路由器,缓存感知正是它在速度和花费上产生差别的原因。
内部对照测试的做法
这套方案的效果来自一段超过一个月的内部 A/B 测试。内部编码流量被随机分配到 FireRouter with Opus 组和只用 Opus 的对照组,两组面对的工作负载和用户相同。计费口径是每次会话的成本,结果从 15.36 美元降到 6.63 美元,降幅 57%,波动范围为正负 19 个百分点。准确率的打分方式包含三项检查:智能体是否把活干完、是否得到正确答案、用户是否需要在下一轮做修正。按这个口径,FireRouter with Opus 在受评轮次中拿到 78.7%,只用 Opus 为 80.2%,前者相当于后者整体准确率的 98.1%。
缓存命中率的取舍
内部流量大多来自编码工作,其中不少常规轮次可以由开放模型承担。FireRouter 的缓存感知路由会把切换模型省下的钱与失去缓存命中带来的损失放在一起权衡。最终 FireRouter 配合 Opus 的缓存命中率为 94.2%,而单独使用 Opus 为 97.8%。这是一次幅度不大但有意为之的取舍,换来的是整体成本明显下降。FireRouter with Opus 针对 Opus 系列做了优化,既出现在命令行工具中,也首次以独立路由器模型的形式提供,任何 Fireworks 账户都能像调用其他模型那样把它当作无服务器端点来指向。
可用范围与接入方式
FireRouter with Opus 目前可以在多种开发工具中使用,包括 Claude Code、Codex、Cursor IDE 等。它面向的是希望把领先的开放模型放进现有工具链、在不牺牲速度与质量的前提下把开销减半的工程团队。对读者而言,这意味着接入方式与调用普通模型没有区别,成本与准确率之间的取舍由路由器在每一轮自动完成,而可选模型集合会随新版本发布而变化,因此实际表现也会随之调整。
为什么值得看
通过智能路由与缓存感知机制,在几乎不损精度的前提下将编码成本砍半,为开发者提供降本新路径。
信源1 家
关键事实
相关 · 产品
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
