ARK 提出分布式大象流路径预留机制，缓解分离式推理 KV 缓存传输的路由冲突
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
分离式 LLM 推理把 prefill 与 decode 拆到不同 GPU 池，由此产生大量 KV 缓存传输；这类传输持续数百毫秒到数秒，属于占满链路带宽的大象流。无状态 ECMP 在此场景下容易哈希冲突，把流量压到同一条 spine 链路而其余链路闲置，使传输时间被拉长数秒。作者提出 ARK，通过协调发送端选择源端口，让并发流的哈希落到不同 spine 上，无需改动交换机，也不要求接收端重排数据包。数据包级 RDMA 仿真显示，中等负载下平均与 P95 FCT 最多降低 27.3% 和 34.0%，平均 TTFT 最多降低 12.9%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在传输层
分离式推理把 prefill 和 decode 放到不同 GPU 池，两段之间需要搬运 KV 缓存。这类传输单次持续数百毫秒到数秒，在链路带宽占用上表现为少数超大流，也就是所谓大象流。论文指出，无状态 ECMP 在这种流量形态下表现不佳：哈希碰撞会把多条并发流压到同一条 spine 链路上，其余链路空转，传输时间因此被拉长数秒。问题不在 GPU 算力，而在网络路径分配。
用长连接特性做协调
ARK 的思路是利用这类流持续时间长的特点：既然流会存活数百毫秒以上，一次协调的开销就能被摊薄。它让发送端之间做一对多的轻量协调，各自挑选源端口，使并发流的哈希结果分散到不同 spine 上，从而避开碰撞。方案不要求修改交换机，也不要求接收端对数据包重排序，部署门槛集中在发送端。
仿真结果与适用边界
作者用数据包级 RDMA 仿真评估：中等负载下，平均 FCT 最多下降 27.3%，P95 FCT 最多下降 34.0%，平均 TTFT 最多下降 12.9%。论文共 7 页，收录于 ACM SIGCOMM 2026 会议论文集。需要说明的是，这些数字来自仿真而非生产集群实测，实际收益会随拓扑与负载变化；材料也未给出与其他协调式方案的横向对比。
为什么值得看
分离式推理的网络瓶颈直接影响首 token 延迟，该方案不改交换机即可降低 FCT 与 TTFT，对部署推理集群的工程…
GPU
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。