研究揭示前沿模型在分子基准测试中存在逐字检索现象
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载逐位核对模型输出
这项研究把关注点放在数字层面，而不是只看模型给出的分子性质数值是否接近参考答案。作者对二十二个前沿模型、十二个回归基准做了审计，检查模型输出是否与已发表数值逐字一致。判断标准并非误差大小，而是模型是否直接复现了文献中的那串数字。这样一来，一个真正在做预测的模型和一个把记忆中的数值搬出来的模型，在准确率上可能看不出差别，但在逐位比对下会显出不同。研究给出的结论是，这种逐字复现现象分布并不均匀：在五个数据集上，超过一半的模型出现了逐字复现；其余数据集上，这种情况只在个别单元格里出现。也就是说，问题集中在部分基准上，而非所有任务都同样严重。
推理档位改变复现频率
实验在两种推理水平下重复进行，用的分子和提示词都相同。结果显示，推理设置会影响复现行为：在较高推理档位上，同样的实验被标记出来的次数比最低档位更多。作者由此指出，推理过程会改变模型对已发表数值的取用方式，而不只是改变最终答案的对错。这一发现意味着，评估模型时若只固定一种推理配置，可能低估或错估记忆成分的参与程度。对使用这类基准做模型选型的人来说，同一模型在不同推理档位下的表现需要分开看，不能把一次测试的结果当作模型能力的全部。
打断复现后的残留
作者在最受污染的案例上尝试了一种中断复现的做法，结果并不彻底：部分最强模型仍能识别出经过变换的 SMILES 字符串与原始标签的组合。这说明简单的输入改写不足以切断模型对已发表数值的调用。更有意思的是误差分布的变化：当复现被抑制后，不同模型之间的预测误差在相对意义上靠得更近；而各模型对逐字复现的依赖程度不同，又会把它们的误差拉开。作者据此提出，一个模型的通用预测能力并不能仅由它记住了多少数值来决定。对读者而言，这提示在分子性质任务上比较模型时，需要把记忆成分和真实预测能力区分开，否则排名可能反映的是检索而非建模。
为什么值得看
揭示了模型在科学计算基准测试中可能通过记忆而非推理获得高分，影响评估真实性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。