注册

Autonomous Science Bench 发布 0.1 版，评测自主科…

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一个名为 Autonomous Science Bench 的基准发布 0.1 版，用于评测自主科学发现智能体在有限预算下选择实验的能力。它包含六个基于已发表实验的设计—构建—测试—学习循环，覆盖生物学、化学与材料科学。智能体分批选择设计方案，从实验室服务获得测量结果，并据此指导后续实验，最终交付预测模型。评测设两道门槛：发现门考察所测设计，学习门考察模型对留出设计的排序。在八种智能体—模型组合、144 次试验的试点中，最佳组合成功率为 67%，最难的一项任务 24 次尝试中仅三次通过。两道门暴露出不同短板，仅看总体成功率会掩盖这些差异。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准要考什么

自主科学发现智能体面临的核心难题是：在预算有限的前提下，该做哪些实验。现有不少科学智能体基准提供的是固定数据集，另一些支持主动实验的基准则大多依赖模拟。Autonomous Science Bench 的初始版本试图改变这一点，它由六个带预算的设计—构建—测试—学习循环组成，取材于生物学、化学和材料科学领域已发表的实验。智能体的工作流程是分批挑选设计方案，从实验室服务处拿到测量结果，再依据这些结果决定下一轮实验，最终交付一个预测模型。整个流程把「选什么做」和「从结果里学到什么」串在一起。

两道门槛怎么分

评测并不只看最终模型好不好，而是设了两道经过校准的门槛。发现门评估智能体实际测量过的那些设计，看它有没有找到值得做的方向；学习门评估智能体模型对留出设计的排序能力，看它能不能预测没做过的设计表现如何。这种拆分让评测结果更有诊断性。论文指出，两道门会暴露出不同的短板：一部分智能体能建立准确的排序，却找到太少有前景的设计；另一部分能找到有前景的设计，却无法预测哪些未见过的设计会表现良好。如果只看总体成功率，这些差异会被掩盖掉。

试点结果与开放内容

在八种智能体—模型配置、共 144 次试验的试点评测中，表现最好的配置成功率为 67%，而最难的一项任务在 24 次尝试里只被解决三次。这个差距说明不同任务的难度分布很不均匀，也说明当前智能体在真实实验循环中的能力仍有明显上限。作者发布了 0.1 版的实验循环、实验室运行时以及公开排行榜，供后续评测使用。论文提交于 2026 年 10 月 13 日，作者为 Yibo Wen 与 Han Liu。

为什么值得看

用真实实验而非模拟来考自主科研智能体，并拆出发现与学习两道门槛，能看清智能体究竟卡在哪一步。

智能体

信源1 家

  1. [1]arXiv cs.AI一手信源Autonomous Science Bench: Evaluating AI Agents for Autonomous Scientific Discovery

关键事实

  • 该基准的初始版本包含六个带预算的设计—构建—测试—学习循环，取材于生物学、化学和材料科学的已发表实验。[1]

  • 智能体分批选择设计，从实验室服务接收测量结果，并用这些结果指导后续实验，最后交付一个预测模型。[1]

  • 评测设发现门与学习门两道校准门槛，分别评估智能体实际测量的设计和其模型对留出设计的排序。[1]

  • 在八种智能体—模型配置、144 次试验的试点评测中，最佳配置成功率为 67%，最难的任务 24 次尝试中仅成功三次。[1]

  • 两道门槛显示不同弱点：有的智能体排序准确但找到的候选设计太少，有的能找到候选设计却无法预测未见设计的表现。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论