FDE-Gym 基准发布：95 个真实交付任务，最佳配置仅解决 14 个
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准的构成与来源
FDE-Gym 由 95 个端到端交付任务组成，这些任务取自 20 个客户场景，覆盖 18 个行业。每个任务都由行业专家从真实交付项目中改编而来，而非人工构造的规范题。任务运行在模拟客户环境中，环境里设有按脚本行动的利益相关方，以及可被修改的客户系统。智能体需要与这些角色互动，并在类生产系统上操作，最终交付可用的解决方案。这一设计意在还原前向部署工程师面对的真实处境：需求模糊、系统在线、约束未被明说。
评分方式与惩罚项
该基准不以任务是否完成为唯一标准，而是看交付方案对客户自身成功指标的改善程度。分数被归一化到 0 到 1 之间：0 代表系统维持原样，1 代表达到参考解决方案的水平。除业务指标外，评分还会对智能体与利益相关方的互动施加惩罚，包括发送消息、进行试运行以及等待所消耗的时间。此外，平台提供在线版本，让人类可以在同一套评分标准下练习前向部署技能，从而与模型表现形成对照。
模型评测结果
研究评测了来自 7 家提供商的 13 种模型配置。在需要自行发现未明说约束的真实设定下，表现最好的配置平均得分仅为 0.56，95 个任务中只有 14 个被解决——这里的解决指得分不低于 0.8 且未发生事故。发现未明说的约束被识别为主要瓶颈：当模型必须在没有明确指引的情况下自行挖掘这些约束时，性能会急剧下滑。这一结果说明，规范明确的任务与真实客户交付之间存在明显差距。
信息获取之外的差距
信息发现并不能完全解释上述落差。在 23 个任务中，最佳配置已经成功从利益相关方处获取了全部关键事实，但即便如此，也只有 10 个任务达到 0.8 或以上的归一化业务提升。这意味着，即使模型掌握了必要信息，把信息转化为有效的客户业务成果仍然困难。该基准的结论指向一个尚未被现有评测覆盖的能力缺口：为真实客户交付有效 AI 系统，与解决定义清晰的任务是两回事。
为什么值得看
揭示智能体在真实客户交付中与规范任务之间的巨大落差，并给出可复现的评测方式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。