Baseten实测：LLM生成推理引擎比vLLM快最多90%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载实测环境与对比基线
这次测试选用的模型是 Qwen-3.6-35B-A3B，精度为 NVFP4，运行在单张 B200 上。对照对象是 vLLM 0.25.1，也就是实验进行时该项目的较新版本。衡量指标集中在两个常被关注的推理性能维度：单流解码速度，以及首 token 延迟（TTFT）。测试方给出的结果是，由大模型生成的推理引擎在这两项上均优于 vLLM，其中单流解码速度的提升幅度最高达到 90%，TTFT 则快了 2.33 倍。这两个数字对应的场景并不相同：解码速度关系到逐 token 输出的吞吐表现，TTFT 则决定用户发出请求后要等多久才能看到第一个字。测试方认为，TTFT 的改善让该模型此前不太现实的一些超低延迟用法变得可行。
技能框架的定位
被测试的方法来自一篇名为 MetaInfer 的论文，其副标题指向“仅靠知识的大模型推理引擎生成器技能工具箱”。按照材料中的描述，这套框架只提供技能，不涉及对模型做后训练，也不需要专门的配套装置，目标是让使用者从零开始搭建定制推理引擎。论文作者声称，在每输出 token 耗时（TPOT）等常见推理性能指标上，他们的结果能超过 vLLM 这类开源方案。测试方原本对此持怀疑态度，但论文附带了技能工具箱的代码仓库，于是决定在一个常见模型上实际跑一遍。换句话说，这次实测并非复现论文的全部结论，而是选取一个具体模型、具体精度和具体硬件组合，观察生成出来的引擎与当时最新版 vLLM 的差距。
趋势与工具链变化
材料把这类尝试放在几条同时发生的趋势里看待。其一是模型本身在长周期任务上变得更能干，文中以 Anthropic 的 Mythos 5 和 Fable 5 为例，认为它们在这类可被可靠委托的任务上迈出了有意义的一步；作者回忆上一次类似的节点是 2025 年底 Opus 4.5 发布，当时不少工程师把 AI 编码工具从辅助补全升级为主要工作界面。其二是智能体协作的工作流和基础组件被直接打包进常用工具，使多智能体流程更容易搭建和操作，例如 Claude Code 与 Codex 都提供的 Goals 功能，能让模型在较长时间内围绕可衡量的目标持续工作。其三是可度量的优化循环逐渐普及，作者提到大约半年前在 Karpathy 的 Autoresearch 项目中第一次接触到“实验—度量—迭代”的循环，如今这种做法已经变得常见。
适用范围与限制
从材料能确认的边界看，这次结果建立在特定组合之上：Qwen-3.6-35B-A3B、NVFP4 精度、单张 B200，对照的是 vLLM 0.25.1。材料没有说明该结论能否迁移到其他模型、其他精度或其他硬件，也没有给出多流并发、批处理吞吐等场景下的表现。所谓“仅靠技能”意味着不进行模型后训练、不使用专门装置，这降低了定制推理引擎的准入门槛，但同时也把效果上限与技能工具箱本身的质量绑定在一起。对读者而言，可操作的信息是：如果手头有类似模型与硬件，可以借助公开的技能工具箱自行生成引擎并与现有方案做同条件对比；至于能否在自身业务中复现 90% 的解码提速或 2.33 倍的 TTFT 改善，仍需以实际测量为准。
为什么值得看
LLM自动生成推理引擎实测大幅超越vLLM，为极低延迟场景开辟新路径，标志AI辅助优化进入实用阶段。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。