ProteinGeoBench 发布：前沿模型查结构元数据强、算几何弱
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准由131项任务构成
ProteinGeoBench 是一套面向蛋白质结构的工作任务集合，共包含 131 项任务，论文作者为 Matt Turk、Brandon L. Neel、Diana M. Lopez、Zachary D. Smith、Grace N. Johnecheck 与 James B. Golden。研究团队用四个前沿模型做了 4,249 次 rollout，又在 26 个模型上追加了 4,486 次试验，试图区分基准分数里有多少来自模型本身的能力差异，有多少来自模型外围的评测配置。作者的核心观察是：前沿智能体在检索结构元数据方面表现熟练，而从坐标计算几何量时可靠性明显下降。这一落差正是该基准想要量化的对象，也是论文标题所指的“擅长查找、困于几何”。
头部模型分数高度接近
四个前沿模型中有三个的得分彼此相差不超过 0.031，区间落在 0.785 至 0.816 之间，统计上无法分辨它们的高下；第四个模型得分为 0.707，它与前述三个模型之间的差距都排除了零。四个模型里有三个在元数据查找上的表现优于数值计算，第四个模型则在数值任务上略好一些。数值类任务在 131 项中占 28 项，但在四个模型全部失败的十二项任务里占到一半，说明几何计算是共同短板所在。作者据此提出，评测应当按任务族分别报告结果，而不是只给一个总分。
排名随评测预算漂移
模型之间的排序并不稳固，它取决于评测预算。当每项任务只跑一次时，23.9% 的 bootstrap 重复会把另一个模型排到首位。研究还在一段选定的 15 项任务切片上做了访问条件对比：切断网络访问带来的分数下降，比屏蔽八个结构数据库域名更多，但这两组对照是在不同批次中评分的，无法干净地拆解。把各模型换成自带的命令行智能体后，分数变动区间为 -0.071 到 +0.086，这一幅度不足以排除中等程度的评测框架效应。作者强调，这些实验使用了不同的任务子集，因此无法在模型、框架、访问条件与任务构成之间排出先后。
跨模型趋势与报告建议
在 26 个模型的范围内，数值表现随非数值表现一同上升，而不是保持平坦，这提示两类能力并非彼此独立。论文共 24 页，含 2 幅图与 10 张表，基准与任务已随论文提供链接。作者给出的实践建议是：评测结果应按任务族分项呈现，同时交代运行次数、所用框架以及访问条件，让读者能判断分数中有多少属于模型、多少属于评测环境。对关注结构生物学智能体的人来说，这意味着单看一个总分容易误判模型在几何计算上的真实水平。
为什么值得看
它把「模型分数」拆成能力与评测配置两部分，并给出排名不稳定的量化证据，对做 agent 评测的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。