StebBench 基准发布：用 6885 条 wikiHow 流程诊断智能体…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准怎么构造
STEPBENCH 的素材来自 wikiHow，共 6885 条经过核验的流程，横跨 81 个开放域类别。研究者没有只让模型交出一份完整计划，而是从同一条流程切出 5 个诊断任务：其中四个有确定答案，分别对应步骤被隐去、步骤被替换成错误内容、步骤顺序被打乱等情形；另一个要求模型生成下一步。由于这些任务共用同一批流程，不同规划能力之间的比较可以直接进行。此外还保留完整计划生成任务，用来观察诊断任务上的表现与端到端计划是否有效之间的关系。
排序是最难的一环
在 12 个模型的 14 种配置上，各项规划能力差距明显，其中步骤排序难度最高。表现最好的模型也只把 63.0% 的流程排对；当流程包含九步及以上时，这一比例降到 33.1%。这说明流程一长，模型维持正确先后顺序的能力明显下滑。另一个发现是，错误步骤识别这一诊断任务的结果，能够预测不同模型被人工判定的计划有效性，因此它可能成为一种成本更低的生成质量评估手段，替代部分需要人工判断的完整计划评审。
记忆干扰的检验
为判断模型是否只是记住了训练中见过的流程，研究者另设 STEPBENCH-Val，由 214 条 2026 年发布的流程组成。在这批较新的流程上，理解得分与模型排名都保持稳定，说明记忆对结果的影响有限。对使用者而言，这套基准的价值在于把「计划哪里错了」拆成可分别计分的维度——缺步骤、错步骤、乱顺序、下一步生成，而不是只给一个笼统的最终计划评分。
为什么值得看
想判断智能体真实规划短板在哪、或需要低成本评估计划质量，这份基准给出了可复用的诊断任务与量化差距。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。