注册

arXiv 论文提出 ReproBAIT，评测编码智能体能否复现生物 AI 工具

论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇提交于 2026 年 10 月 14 日的 arXiv 论文提出名为 ReproBAIT 的评测，用来衡量编码智能体在信息受限条件下设计、实现并训练生物 AI 工具的能力。智能体被置于无网络的沙箱中，只拿到训练数据、固定的时间与算力预算，以及关于目标工具的有限描述，复现结果按工具专属指标在留出数据上打分。评测对象包括逆蛋白折叠工具 ProteinMPNN、全原子生成扩散工具 RFdiffusion3，以及一个闭源分子设计工具。结果显示，部分工具可被较好复现，而高度复杂的工具复现能力有限；同时存在中等程度的记忆迹象，且不同智能体表现不一。作者据此提示，工具开发者公开信息时需更谨慎。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

评测怎么设计

ReproBAIT 全称 Reproducing Biological AI Tools，关注的是编码智能体在只掌握目标工具有限描述时，能否自行完成设计、实现与训练。评测把智能体放进一个安全的沙箱环境，切断互联网访问，只提供训练数据、固定的时间预算和算力预算，以及关于待复现工具的部分信息。复现完成后，评分依据是工具专属指标在留出数据上的表现，而不是代码相似度。论文作者指出，当前大模型在调用科学知识和现成计算工具执行复杂流程方面越来越强，但它们在被给予有限描述时重建工具的能力，此前几乎没有公开信息，这正是该评测要填补的空白。

测了哪些工具

评测选取了复杂度不同的若干生物 AI 工具。其中包括 ProteinMPNN，一种逆蛋白折叠工具；RFdiffusion3，一种全原子生成扩散工具；以及一个闭源分子设计工具。由于开源工具很可能已经进入模型的预训练语料，作者还专门设计了一套方法来检查记忆现象。在多家领先的闭源与开源编码智能体上运行后，结果是：对部分选定工具，复现能力相当可观；面对高度复杂的工具时，能力则有限。记忆方面的证据属于中等程度，并且在不同编码智能体之间表现不一致。

对工具开发者的提示

论文给出的结论指向信息发布策略。作者认为，工具开发者今后在公开工具相关信息时需要更加谨慎，因为仅凭这些信息，智能体就有可能把工具重新造出来，这可能削弱工具的商业价值，也可能让双用途技术的受控访问安排失效。需要注意的是，这些结论来自特定沙箱条件与有限工具集合下的评测，论文本身并未给出通用的复现成功率，也未说明哪些信息条件最容易导致复现，这些边界在解读结果时应当一并考虑。

为什么值得看

它把「公开工具描述会不会被智能体复刻」变成可量化评测，直接关系开源与受控访问策略。

智能体算力论文

信源1 家

  1. [1]arXiv cs.AI一手信源ReproBAIT: Can coding agents build their own biological AI tools?

关键事实

  • 论文提出 ReproBAIT 评测，衡量编码智能体设计、实现并训练生物 AI 工具的能力[1]

  • 智能体在无网络的沙箱中运行，只获得训练数据、固定时间与算力预算及有限工具描述[1]

  • 评测覆盖 ProteinMPNN、RFdiffusion3 和一个闭源分子设计工具[1]

  • 结果显示部分工具复现能力较强，高度复杂工具复现能力有限，并存在中等程度的记忆迹象[1]

  • 作者认为工具开发者公开信息时需更谨慎，复现可能削弱商业价值或影响双用途受控访问[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论