智谱GLM模型参与构建自身推理系统
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载十万卡集群上的从零搭建
GLM-5.3-Flash 的线上推理服务，是在由超过十万张国产芯片构成的集群上从零搭建起来的。这套集群此前没有同等规模的部署先例，芯片在内存容量与带宽上相对受限，而模型本身又需要支撑百万级上下文窗口和多模态请求，配套生态尚不成熟、算子不完备，部分文档只能靠推断。最终完成搭建与调优的主体并非一支资深基础设施团队，而是由 GLM-5.3 驱动的 Infra Agent。它参与的是从模型适配到生产可用的完整过程，耗时不到两周，端到端吞吐被推到初始基线的 3.2 倍。这一结果的意义在于，Agent 承担的不只是写代码，而是把一套能承载真实流量的推理系统从无到有地立起来。
读反馈、提假设、改代码
这套 Agent 的工作方式是一个反复迭代的闭环：读取系统反馈，提出关于瓶颈所在的假设，修改代码，跑实验，再依据结果决定下一步。它能处理的问题层次相当具体。在 KV Transfer 场景中，它定位到 Python 的 GIL 造成的并发阻塞，把 Prefill 加 KV Transfer 相比单独 Prefill 超过 20% 的性能损失压缩到 1% 以内；在 KDA Decode 算子上，它通过重新组织计算获得 1.71 倍的性能提升。这些都不是端到端指标能直接指出的问题，而涉及算子精度、Python 与 C++ 跨层并发、Kernel 性能等多个层面的动态交互。智谱方面由此得出的判断是，决定 Agent 工程效果的不只是代码生成与推理能力，更在于系统能否持续提供有效且可归因的反馈——只告诉它结果变差，它难以判断问题出在哪一层。
技术栈与横向参照
为应对受限硬件，这套系统采用了一系列内存优化思路，包括以算力换带宽、以通信换显存等定制方案。最终技术栈融合了针对线性注意力与 LM Head 的节点内张量并行、ReplaySSM、W8A8 量化、INT8/FP8/BF16 混合精度缓存量化以及 Layer Split 等多项技术，并引入 Encode–Prefill–Decode 的分离式架构，使端到端服务性能提升约 3 倍。按材料给出的说法，其硬件利用效率与单 Token 成本达到了与主流 NVIDIA GPU 相当的水平。作为对照，GLM-5.3-Flash 曾以匿名模型 Ox-Alpha 在 OpenCode 与 OpenRouter 上接受真实调用，上线一周成为两个平台调用量最大的模型，6 天 token 调用量超过 62 万亿。
闭环的边界在哪里
由此形成的循环是：GLM 参与优化运行 GLM 的系统，被优化后的系统又继续承载新的 GLM。智谱同时明确表示，自身尚未实现递归自我改进。目标如何设定、边界如何划定、风险如何判断，目前仍由人类工程师负责，距离模型完全自主设计并训练出自己的继任者还有相当距离。材料还提到另一条线索：安全能力被视为代码能力的延伸，自 2025 年 10 月启动相关研究后，不到一年，安全伙伴使用 GLM 在真实代码库中发现数千个漏洞，为此智谱设计了受信访问计划。对读者而言，这个案例的价值在于 RSI 第一次以工程化、已进入生产环境的形态出现，而不只是抽象讨论。
为什么值得看
RSI首次出现工程化雏形并跑进生产环境，展示了AI自我优化的潜力。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。