新基准CLE用600级任务测LLM智能体持续学习能力
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队发布持续学习考试基准CLE，由50余名领域专家构建，含120项人工编写任务，每项分五级阶梯，共600级，覆盖12个职业领域的89个岗位。智能体须逐级通过才能解锁下一级，后续关卡依赖前序积累的经验，由评估智能体按人工评分标准打分。在17种前沿模型配置下，失败后给予诊断反馈并允许一次修订，完成率中位数提升5.3个百分点；最佳系统仅通过47.7%的关卡，在23.3%的任务中打通全部五级。该数据集也可用于后训练，以增强模型的持续学习能力。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准怎么设计
CLE面向真实职业工作流，由50余名领域专家参与制作，共120项人工编写任务。每项任务被拆成五级阶梯，合计600级，覆盖12个职业领域下的89个专业岗位。智能体必须通过当前级别才能进入下一级，后一级会用到前面关卡中积累的经验，因此考察的不是单点答题，而是能否把经验带到后续任务。评分环节由评估智能体依据人工编写的评分标准对每次提交打分，减少人工逐条比对的工作量。
两种评测设置
研究对比了两种设置：一种是只提交一次；另一种是在失败后给出诊断性反馈，并允许修改一次。后者相当于给智能体一次从错误中学习的机会，用来观察反馈与修订能否带来提升。实验覆盖17种由前沿大模型构成的配置，两种设置的完成率差异以中位数计为5.3个百分点，说明反馈加修订确实有帮助，但幅度有限。
前沿模型的成绩
即便在允许反馈与修订的条件下，表现最好的系统也只通过47.7%的关卡；能在一项任务中打通全部五级的比例仅为23.3%。这组数字说明，现有前沿模型在长周期、逐级递进的任务中持续从经验中改进的能力仍然偏弱，单次任务表现好并不等于能稳定积累经验。
数据集的另一用途
除评测外，CLE还可用于后训练，帮助模型强化持续学习能力。对关注智能体长期学习、经验复用与后训练数据的团队来说，这个基准既提供了可复现的评测口径，也提供了可用于训练的任务与评分标准资源。
为什么值得看
它把评测重点从单任务得分转向「能否靠经验逐级变强」，并给出前沿模型的实际通过率，可作为智能体长期学习能力的参照。
智能体数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。