趋境科技与摩尔线程合作推出国产AI Token生产方案
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载异构解耦的Token工厂
趋境科技与摩尔线程在9月3日达成战略合作，双方将趋境的国产PD异构技术与MTT S5000及MUSA融合，共同建设国产化高品质AI Token工厂。该方案以Token Pod为载体，已投入生产并承接头部模型厂商的真实流量。在同等服务标准下，其整体性价比超过国际先进算力方案。这一合作的核心在于将Prefill与Decode两个阶段解耦，使算力资源能够按需分配。MTT S5000负责Prefill阶段的输入计算与KV Cache生成，而Decode阶段则由高带宽GPU承担Token生成。这种分工让Prefill成为可独立供给、计费、优化的资源池，为后续的弹性调度和成本控制打下基础。
Prefill资源池的性价比
在实际部署中，4至5台MTT S5000组成Prefill资源池时性价比占优。这一配置并非随意设定，而是基于对Prefill阶段计算特性的权衡：该阶段需要处理大量输入并生成KV Cache，对算力和显存带宽有特定要求。通过将Prefill解耦为独立资源池，系统可以根据流量波动灵活调整资源供给，避免Decode阶段的高带宽GPU被Prefill任务占用。与传统的紧耦合方案相比，这种异构解耦设计让每个阶段都能选用最适合的硬件，从而在整体上提升效率。MTT S5000已跨过兼容与测试阶段，进入生产链路，意味着该方案不再停留在实验环境，而是具备了承载真实业务的能力。
生产运行的关键指标
该方案在生产运行中实现了平均生成速度超过50 TPS，KV Cache命中率超过90%，稳定性达到99.9%。这些数字反映了系统在真实流量下的表现：50 TPS的生成速度意味着Token产出效率能够满足头部模型厂商的服务要求；超过90%的KV Cache命中率则减少了重复计算，降低了Prefill阶段的负载；99.9%的稳定性为持续服务提供了保障。此外，方案还提供生产级低首Token时延保障，确保用户请求得到快速响应。这些指标共同构成了国产化AI Token工厂的服务基线，也为同等服务标准下的性价比优势提供了支撑。
少模型深优化的路径
趋境科技采取“少模型、深优化”的策略，聚焦重点模型进行持续优化，而非广泛适配所有模型。这种做法的好处在于能够将有限的工程资源集中投入，针对特定模型打磨性能。模型配置与运行策略会沉淀到ATaaS平台中复用，使得优化成果可以跨任务、跨场景迁移，减少重复调优的成本。对于读者而言，这意味着该方案更适合有明确模型选型的生产场景，而非需要支持大量长尾模型的通用平台。同时，MTT S5000进入生产链路也表明国产算力在AI推理领域已具备实际部署能力，为相关企业提供了国际方案之外的另一种选择。
为什么值得看
国产算力方案实现生产级性能，为万亿参数大模型规模化推理提供高性价比路径。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。