是石科技发布TokenFleet调度框架，首Token延迟最高降71.3%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载请求路由先算清代价
TokenFleet 把请求路由当作首要优化环节，承担这一职责的是 TokenPilot。它在同一个模型池范围内挑选推理实例，选点之前先估算两件事：缓存复用能带来多少收益，排队又要付出多少代价。为了把工作量估准，TokenPilot 会结合输入规模、输出预算以及可复用前缀三方面信息。候选实例的评分则综合队列长度、在途 Token 数量、KV 缓存压力与预测延迟四项指标。在 GLM5.3 上调优得到的数据显示，P95 首 Token 延迟下降 32.4%，P50 首 Token 延迟下降 71.3%。两个分位数的降幅差异说明，改善不仅落在尾部，中位请求的等待也被大幅压缩。
跨机房先定去向再选点
FleetMind 处理的是机房之间的容量协同。它汇聚各机房的模型可用性、实时容量与网络状态，先决定由哪个机房执行，再交给本地引擎挑选具体实例。分流并非无条件进行，需要先满足权限与数据地域方面的约束，符合条件后才进入机房选择。在时间尺度上，FleetMind 分两层动作：短周期内调整新请求的去向，长周期内调整副本数量与预热位置。这种分工让即时流量变化与副本布局变化各自有对应的调节节奏。
按等级准入与分池排队
SLOMax 负责混合负载治理，做法是等级准入、分池排队并协调容量。请求先按等级获得准入资格，再进入对应的池子排队，容量在池之间统一协调。TokenFleet 整体以达标输出吞吐 Goodput 作为优化目标，也就是把满足时延要求的有效产出作为衡量尺度，而不是单纯追求吞吐数字。
两条路径覆盖不同场景
三项技术的适用场景有区分。TokenPilot 与 SLOMax 面向现有集群，在既有资源上改善路由与排队；FleetMind 面向新增机房带来的扩展需求，处理多机房之间的容量与去向问题。对运行推理服务的团队而言，这意味着可以先在现有集群上引入路由与排队层面的优化，再随着机房规模扩大接入跨机房调度，两部分的推进节奏可以分开安排。
为什么值得看
国产推理集群调度给出可量化的首Token延迟改善数据，关注推理成本与SLA的团队可看具体做法。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。