ScienceClaw发布:跨学科AI智能体持续自演化基准测试

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对大模型智能体在科学自动化中验证执行难以转化为持久程序改进的问题,ScienceClaw提出固定参数程序自演化框架,统一任务求解、科学验证与程序更新。其评估集覆盖23个学科,通过序列流与独立重置评估测量正确性、演化收益、记忆保持、跨数据集迁移及演化成本。该机制在多轮交互中修复工作流,将验证通过的失败-成功轨迹转为技能与算子候选,仅在源任务重放复现修复且独立任务改善时保留更新。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把修复固化成程序更新

ScienceClaw 把 AI 科研智能体的自我进化定义为固定参数下的程序自我进化,也就是模型权重不动,改的是可执行程序本身。它把三件事放进同一个流程:先解题,再做科学验证,最后更新程序。具体做法是,智能体通过多轮交互去修补可执行的工作流;当一次执行失败、再次执行后成功,这条失败到成功的轨迹会被转成相互关联的 Skill 与 Operator 候选。候选不会立刻被采纳,只有满足两个条件才保留:在源任务上重放能复现这次修复,并且在独立的科学任务上也有提升。这一门槛把一次性的偶然成功和真正可复用的程序级改进区分开来,回应的是验证过的执行很少沉淀为持久程序改进这一问题。

评测覆盖23个学科

ScienceClaw-Eval 横跨 23 个学科,同时覆盖自然科学与社会科学,用来考察连续任务序列中的进化过程。它衡量的指标包括科学正确性、进化增益、保持性、跨数据集迁移以及进化成本。评测方式有两种:一是顺序流,让任务依次到来,观察智能体在连续任务中能否累积改进;二是独立重置评测,把状态清空后单独考察。作者指出,已有的评测并没有在自然科学与社会科学两边的顺序任务上考察这一过程,ScienceClaw-Eval 正是为填补这一空缺而设计。对读者而言,这意味着评估重点从单次答题正确率,转向改进能否在后续任务中留存并迁移到别的数据集。

与常规方案的差别

常见的智能体评测通常只看单轮或单任务的表现,任务结束即结束,执行中验证过的修复不会写回程序。ScienceClaw 的差别在于把任务求解、科学验证与程序更新统一起来,并让更新接受重放与独立任务的检验。它不调整模型参数,因此进化成本与程序更新的代价相关,而不是重新训练的开销。适用范围上,它面向的是可执行工作流的修复,需要多轮交互以及可重放的失败与成功轨迹;限制在于,更新必须同时通过源任务重放和独立科学任务提升两道检验,未通过者不予保留。论文代码已公开,提交时间为 2026 年 10 月 6 日,作者包括 Mingda Zhang 等九人。

为什么值得看

为AI智能体在科研领域的持续自演化提供跨学科量化评估标准,解决执行经验难以沉淀为程序级改进的痛点。

大模型智能体基准测试数据集

信源1 家

  1. [1]arXiv cs.AI一手信源ScienceClaw: Benchmarking Continual Self-Evolution of AI-for-Science Agents Across the Natural and Social Sciences

关键事实

  • ScienceClaw将智能体自演化形式化为固定参数程序自演化,统一任务求解、科学验证与程序更新。[1]

  • ScienceClaw-Eval评估集覆盖23个自然与社会科学学科。[1]

  • 评估指标包含科学正确性、演化收益、记忆保持、跨数据集迁移及演化成本。[1]

  • 框架仅在源任务重放复现修复且独立科学任务获得改善时,才保留程序更新。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。