HPE 混合 AI 平台将常规负载转至本地开源模型，token 成本降 30%…
观点AI 评分 72/100MIT Technology Review待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
MIT Technology Review 文章提出，按 token 计费会让高频使用变贵，而自有算力随使用量增加反而更高效；但自有算力并非零成本，电力、运维、维护与折旧都要计入，真正该衡量的是每次合并 PR 的完全成本。文章还指出，自有算力带来一项不会出现在账单上的价值：对敏感代码的控制。当代码生成与测试在本地运行时，专有代码留在企业内部，只有经批准的规划提示词和受管控的例外请求，才通过企业自控的网关发给外部模型。HPE 的混合 AI 平台把 150 多个内部应用的常规负载路由到本地开源权重模型（含 HPE Private Cloud AI），token 成本下降 30% 至 50%；最难的任务仍由网关交给前沿模型。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载按合并请求算成本
按调用量计费的模式下，用得越多，账单越高；而自建算力则相反，团队使用越频繁，单位成本越被摊薄。不过自建并非没有代价，电力、运维、维护以及折旧都要计入。真正值得盯住的指标，是每一次已合并的拉取请求所对应的全负载成本，而不是单纯的调用次数或词元数量。这个口径把算力支出与工程产出直接挂钩，让团队看清一次代码合并背后究竟花了多少。
敏感代码留在内部
自建算力还带来一项不会出现在发票上的收益：对敏感代码的掌控。当代码生成与测试都在本地环境运行时，专有代码始终留在企业内部。只有经过批准的规划提示词和受治理的例外请求，才会经由组织自己掌控的网关送往外部模型。这样一来，那些因安全顾虑而迟迟无法推进采用流程的敏感代码仓库得以打开，而最大的收益恰恰藏在这些地方。
混合路由的实际做法
HPE 的做法提供了一个可参照的运行模型：其混合 AI 平台把来自 150 多个内部应用的日常负载，路由到在本地运行的开放权重模型上，其中也包括运行在 HPE Private Cloud AI 上的模型。这样做的结果是词元成本下降。混合模式的关键在于分工——把量大、常规的推理放在自有容量上跑，再让网关把最难处理的任务转交给外部的前沿模型。也就是说，自建推理并不意味着放弃前沿模型，而是把两者按任务难度分开安置。
为什么值得看
给出「按 token 计费 vs 自有算力」的成本对比框架，以及 HPE 内部 150+ 应用的实际降本数据，对评估推…
开源模型代码生成算力
信源1 家
关键事实
相关 · 观点
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。