OpenRouter 重建默认路由算法:TTFT 降 16.9%、429 错误…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载从价格优先转向综合评分
OpenRouter 称这是其成立以来对供应商路由算法最大的一次改动。旧版默认路由几乎只按输入 token 价格分配流量:报价越低的供应商拿到的请求比例越高,请求失败就转给下一个更便宜的选项。新算法改为对每个模型的每个端点持续记录实际成交价格、延迟、吞吐和错误率,再为每一次请求挑选成本与性能的组合。官方把这一变化描述为奖励“真正更好的推理”,表现更优的供应商会自动获得更多流量,从而形成持续优化的循环。
实测数据与代价
官方给出的对比结果是:首 token 延迟下降 16.9%,吞吐提升 16.3%,容量类错误减少 67%,代价是成本上升 6.0%。OpenRouter 特别说明,这些数字出现在供应商尚未针对新算法做任何优化之前,因此后续仍有改善空间。旧方案的问题在于,便宜但表现差的端点依然会胜出:失败请求虽然会被回退机制接住,但用户要为此等待,速度上的改进也得不到流量回报。
实时切换与缓存保持
新路由会在运行中做出反应:某个端点出现问题时,流量会从该端点移走,直到它恢复。同时路由仍然保持缓存感知,一旦请求被送到某个供应商,只要缓存仍然有效,同一会话就留在那里,避免因切换端点导致缓存失效。对于只关心价格的用户,OpenRouter 保留了固定供应商和排序供应商两种方式,可以继续按纯价格路由,接入方不需要修改代码。
为什么值得看
多供应商模型调用的默认选路逻辑变了,直接影响延迟、错误率和成本,接入方无需改代码即可受益。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
