OpenRouter推出Batch API，批量异步推理享半价优惠
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载批量提交换取半价
OpenRouter 上线了 Batch API，面向不需要立刻拿到结果的大批量任务。提交一批请求后，由服务提供方在 24 小时的窗口内自行决定何时完成，作为交换，按正常每 token 价格的一半左右计费，部分情况下折扣更大。该接口目前覆盖 70 多个模型，使用方式记录在 Batch API 文档中。对调用方来说，这是一种用时间弹性换成本的安排：愿意接受响应时间波动的负载，可以借此压低单位推理开销。
实测中位七分钟返回
在为期两周的测试期内，共有 23 万多个批次完成。从接受到产出结果计时，中位数为 7 分钟，九成在一小时内结束，最慢的百分之一落在 10.3 小时。实际等待通常远短于 24 小时的上限。另一个值得注意的现象是，提交时刻比请求数量更影响速度：太平洋时间清晨 5 点到中午之间提交的批次明显偏慢，最慢的一成需要 2 到 4.5 小时；换到其他时段，九成批次可在一小时出头内完成。
异步接口的调用形态
调用方把请求列表发到 api/v1/batches，并指明使用哪种端点形态，chat completions、responses、messages 与 embeddings 均在支持范围内。每条请求带一个自定义标识，便于回填结果时对应原始数据。提交后通过轮询批次标识查询状态，直到完成、失败、过期或取消；完成的批次会在同一次响应里直接带回结果。这种异步设计适合能容忍响应时间大幅波动的场景，例如给语料打标、补算向量、给评测集打分、汇总积压工单，或夜间把同一提示词跑过数千行数据。
适用边界与使用取舍
与同步调用相比，Batch API 的差别不在模型能力，而在调度权归属：把何时执行的判断交给提供方，换取价格减半。代价是结果返回时间不可精确预期，因此不适合交互式对话或需要即时反馈的链路。真正决定体验的是提交时段，而非批量规模，把任务安排在非高峰时段能显著缩短等待。对需要控制成本的团队而言，这意味着可以把可延迟的离线作业从实时通道中剥离出来单独处理，同时保留原有端点的调用习惯。
为什么值得看
半价批量推理大幅降低语料标注、评估集打分等大规模离线任务成本，且实测等待时间远短于24小时窗口。
信源1 家
关键事实
相关 · 产品
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。