商汤大装置披露万卡级异构推理集群实践
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载推理需求千倍增长
商汤大装置日均提供的Token推理服务规模达到6万亿。宣善明在深圳CSDI峰会上指出，AI应用正从单点任务转向多Agent协作，这一转变使得Token需求呈现千倍级增长。不同应用场景对Token的需求差异明显：基础问答类应用更关注成本与并发能力，办公Agent和客服场景则对响应延迟和生成速度有更高要求，而科学探索与金融量化场景则强调准确性、可审计与可追溯。这些差异化的需求推动推理基础设施向更精细化的方向演进。
PD分离与异构调度
为应对多样化的推理需求，商汤大装置采用PD分离架构，将Prefill与Decode两个阶段解耦。在该架构下，国产算力承担Prefill任务，高阶GPU负责Decode任务，两阶段之间通过KV Cache传输连接。临港AIDC已建成万卡级异构推理集群，融合800G、400G、200G网络。在实际配置中，部分场景需要30至50个中低阶Prefill节点匹配一个Decode节点。为提升可靠性，商汤在Prefill资源池预留高端算力，当Decode节点故障时可快速补位；节点还能在Prefill与Decode角色间动态切换，实现弹性调度。
六层架构与吞吐提升
商汤大装置构建了覆盖能源、互联、KV数据面等六个层面的架构体系，以支撑异构推理集群的高效运行。在特定测试下，整体Token吞吐量可提升至原来的5倍。此外，商汤正在探索跨域PD分离模式，由本地算力完成Prefill，异地高阶集群执行Decode，以进一步优化资源利用。这些实践为Agentic时代的AI基础设施提供了可参考的技术路径。
为什么值得看
国产算力如何参与高阶推理、异构集群如何调度，这里给出了可复用的工程路径和吞吐数据。
信源1 家
关键事实
相关 · 行业
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。