OpenRouter 重建默认路由算法:TTFT 降 16.9%、429 错误…

工具AI 评分 72/100OpenRouter:Announcements(RSS)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

OpenRouter 宣布重建默认的供应商路由算法,从过去几乎只看输入 token 价格,改为综合每个端点的实际价格、延迟、吞吐和错误率,为每次请求挑选成本与性能的最佳组合。官方给出的实测变化是:首 token 延迟(TTFT)下降 16.9%,吞吐提升 16.3%,容量类错误减少 67%,成本仅上升 6.0%,且这发生在供应商尚未针对新算法优化之前。路由仍保留缓存感知,会话在缓存有效期内固定在同一供应商;需要纯价格路由的用户仍可通过固定和排序供应商的方式实现,无需改动代码。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从价格优先转向综合评分

OpenRouter 称这是其成立以来对供应商路由算法最大的一次改动。旧版默认路由几乎只按输入 token 价格分配流量:报价越低的供应商拿到的请求比例越高,请求失败就转给下一个更便宜的选项。新算法改为对每个模型的每个端点持续记录实际成交价格、延迟、吞吐和错误率,再为每一次请求挑选成本与性能的组合。官方把这一变化描述为奖励“真正更好的推理”,表现更优的供应商会自动获得更多流量,从而形成持续优化的循环。

实测数据与代价

官方给出的对比结果是:首 token 延迟下降 16.9%,吞吐提升 16.3%,容量类错误减少 67%,代价是成本上升 6.0%。OpenRouter 特别说明,这些数字出现在供应商尚未针对新算法做任何优化之前,因此后续仍有改善空间。旧方案的问题在于,便宜但表现差的端点依然会胜出:失败请求虽然会被回退机制接住,但用户要为此等待,速度上的改进也得不到流量回报。

实时切换与缓存保持

新路由会在运行中做出反应:某个端点出现问题时,流量会从该端点移走,直到它恢复。同时路由仍然保持缓存感知,一旦请求被送到某个供应商,只要缓存仍然有效,同一会话就留在那里,避免因切换端点导致缓存失效。对于只关心价格的用户,OpenRouter 保留了固定供应商和排序供应商两种方式,可以继续按纯价格路由,接入方不需要修改代码。

为什么值得看

多供应商模型调用的默认选路逻辑变了,直接影响延迟、错误率和成本,接入方无需改代码即可受益。

信源1 家

  1. [1]OpenRouter:Announcements(RSS)线索来自 AIHOTOpenRouter 重建默认路由算法:TTFT 降 16.9%、429 错误减少 67%

关键事实

  • 新默认路由综合价格、延迟、吞吐与错误率,而非只看输入 token 价格[1]

  • 实测 TTFT 下降 16.9%,吞吐提升 16.3%,容量错误减少 67%,成本上升 6.0%[1]

  • 约 77% 的请求发往由多个供应商提供的模型,需要路由层做选择[1]

  • 路由保持缓存感知,缓存有效期内会话固定在同一供应商[1]

  • 仍可通过固定与排序供应商实现纯价格路由,无需改代码[1]

相关 · 工具

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。