SkillHorizon 发布：用技能组合构建长程智能体任务基准
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究者提出 SkillHorizon，一个通过技能组合构造长程任务的基准，覆盖七个商业环境。其生成器用领域规则把可复用的技能流程转成具体业务活动，活动之间通过输入输出依赖、共享资源和状态更新相连，使工作量与协调需求同步增长。参考执行验证任务可行并测量交互工作量，程序化评估器分别判断局部完成与整体成功。在 1,050 个任务上评测五个语言模型，参考交互工作量从 64K 到 1M token，平均局部目标完成率由 90.4% 降至 46.8%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准如何构造任务
SkillHorizon 的思路是把可复用的技能流程当作积木。生成器依据各领域的特定规则，将这些技能流程展开为具体的业务活动，再让活动之间通过输入输出依赖、共享资源和状态更新彼此挂钩。这样设计的结果是，任务规模扩大的同时，协调需求也一并上升，而不是单纯把步骤数量堆高。基准覆盖七个商业环境，作者称其可配置，便于研究持续进展、依赖协调与完整任务交付。任务是否可行由参考执行来验证，交互工作量也由参考执行测量。
评测规模与结果
评测在 1,050 个任务上进行，涉及五个语言模型，参考交互工作量的跨度是 64K 到 1M token。随着工作量增大，平均局部目标完成率从 90.4% 滑落到 46.8%，说明已完成的部分跟不上不断增长的需求。在更大的工作量下，智能体更常提交不成功的最终答案，同时还有大量工作未完成、工具调用额度也仍有剩余。程序化评估器分别考察局部完成情况和整体任务成功，因此能区分「做了一部分」与「真正交付」。
失败模式与用途
轨迹分析还发现一类情况：脚本本身执行成功，但其输出没有通过下游的业务检查。这类失败不会在单步执行层面暴露，只有在整条依赖链上才会显现。作者把 SkillHorizon 定位为一个可配置的测试平台，用于研究工作流不断增长时的持续进展、依赖协调和完整任务交付。论文共 29 页、7 张图，代码已公开。
为什么值得看
长程智能体在任务变长时完成率大幅下滑，该基准给出了可配置的评测口径与失败模式。
智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。