商汤大装置分享异构混推实践，日均Token量增至4.5万亿
工具AI 评分 75/100量子位待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
商汤大装置技术专家罗伟分享了异构混推创新实践。为应对Agent时代长上下文与突发流量挑战，系统转向以Token生产效率与成本为中心的设计。通过横向编排统一异构算力画像并动态调整P/D节点角色，纵向深化“模型×引擎×芯片”优化，其日均Token服务量从2月0.46万亿增至8月4.5万亿。技术正向动态P/D资源池及模块级资源池演进，以提升算力利用率。
为什么值得看
揭示了应对Agent推理负载的异构算力调度解法，动态P/D与模块级池化思路对大规模推理架构设计具参考价值。
算力芯片
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。