FDE-Bench发布：专评大模型智能体部署配置能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载任务覆盖三类部署形态
FDE-Bench 把「把应用代码变成能跑起来的系统」这件事拆成可评测的对象，服务要能互相连通、进入就绪状态并保持可观测。评测集包含 136 个部署配置任务，覆盖 Docker 镜像、多服务 Compose 堆栈以及 Kubernetes 三类形态，并区分从零搭建与诊断修复两种模式。受测智能体提交的是声明式产物，这些产物会被收集起来，在一个干净环境中重新构建并重新部署，而不是在原环境里就地验证。这种「重新部署」的设计意味着评测看的是产物本身能否复现出可运行系统，而不是某次操作的偶然结果。任务网格上的评测使用同一套四工具脚手架，来自四家提供方的七个语言模型参与其中。
四层门控与四臂放行
评分不依赖模型裁判，而是用程序化检查完成。四层二值门控分别衡量构建、就绪、行为以及对部署规范的符合程度，只有逐层通过才算解决。为避免任务被取巧方式通过，放行环节设置了四个分支：必须存在一个能真正解决问题的参考解，同时拒绝那些靠什么都不做、照抄规范文本或提交通用占位内容就能通过的任务。公开的检查标注把 2,145 项检查与其对应的规范条目关联起来，其中还记录了七处已知缺口。此外有三种对抗策略专门探测评分信号里的捷径，它们覆盖的 135 个任务无一被解决；而一个空洞的健康探针能通过就绪检查，说明后续检查层不可缺少。
就绪是最大失败环节
在 136 个任务的评测网格上，七个语言模型解决任务的比例落在 52.9 到 75.0 之间。三个零智能基线一个任务也解决不了，其平均部署得分最高只有 0.44。按失败阶段统计，就绪是占比最大的环节，313 个未解决回合中有 110 个卡在这里。修复任务组的平均解决率比与之不相交的从零搭建组高出 30.7 个百分点，且每个模型都呈现这一正向差距，说明已有环境线索时模型表现更好；另有十个任务对全部七个模型都构成阻碍。在一项 25 个任务的案例研究中，一位在职工程师指挥 Claude-Sonnet-5 达到 92 的解决率，而自主基线为 72。FDE-Bench 的价值在于把部署的成败对应到可检查、可重放的产物上。
为什么值得看
揭示大模型在真实部署配置中的短板，就绪阶段易失败且全新构建远难于修复，人机协作显著提效。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。