新基准 RAP 揭示 LLM 研究趋势预测偏差
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载滚动基准的构造方式
RAP 把“研究注意力”变成可判分的预测题。它覆盖 278 个 AI/ML 领域，共 1,390 个回合；在每个时间截断点上，让语言模型智能体在只包含该时点之前文献的 arXiv 语料中检索，然后对八个固定研究方向给出未来六个月的论文占比预测。之所以要这样设计，是因为综述和研究想法本身缺少唯一可验证的结果，难以用来衡量模型追踪注意力变化的能力；而论文占比有明确的统计口径，可以逐回合比对。八个方向在整个基准中保持冻结，不随回合调整，从而保证不同截断点之间的预测对象一致。语料按时间受限，意味着智能体无法提前看到未来文献，只能依靠检索到的历史证据做判断。这一设定把评测重点放在“拿到什么证据、如何使用证据”上，而不是放在模型是否记住了某些论文。
检索并非总是加分
实验给出的第一个反直觉结果是：检索通常有帮助，但四个诊断模型在组合准确率上都没能超过一个按精确计数加权的指数加权移动平均（EWMA）基线。也就是说，把近期论文份额按指数衰减方式外推的简单统计方法，反而比这些模型更稳。作者由此定位到两个相互关联的瓶颈。其一，在可以访问累积历史的条件下，四种诊断模型采用状态结转（State carry-forward）都优于直接预测（Forecast）。其二，通过冻结证据回放，作者把这一反转的一部分原因归到面向预测的策略上：这类策略检索到的近期证据份额更小，因而在需要捕捉新变化时处于劣势。换言之，模型的表现差异不只来自推理能力，也来自它在检索阶段把注意力放在了哪段时间的证据上。
历史准确仍难推未来
第二个瓶颈更直接：即便把历史活动精确地交给模型，面向未来的更新能力依然有限。在全部诊断模型中，只有 GPT-5.5 在重新开放检索之后，才略微超过 EWMA 基线。这说明“知道过去发生了什么”与“判断接下来六个月份额如何变化”之间仍有明显缺口，而重新开放检索带来的增量也只是小幅的。对使用这类智能体做研究趋势判断的读者而言，这意味着单纯堆叠历史统计并不能自动转化为前瞻能力；检索环节的时近性偏好、以及策略在累积历史与直接预测之间的取舍，都会实质影响最终预测。
微调带来的增益
作者还检验了用已实现结果做微调的效果。在 Qwen3-4B 上，以真实结果为监督信号进行微调后，模型在较晚起点的留出领域上，预测的 Spearman 相关系数提升了 0.105；在变化较多的回合上同样有增益。这一数字说明，把事后可知的份额变化作为训练目标，可以让较小模型在分布外的领域上获得可测量的改善，而不只是在训练时见过的领域内有效。需要注意的是，这一提升是在留出领域和较晚起点条件下测得的，材料并未给出其他模型或全部回合上的同类结果，因此不宜外推为普遍结论。对关注研究智能体评测的读者，RAP 提供的价值在于把“证据获取偏差”变成可复现的测量项：同一截断点、同一组冻结方向、同一套语料限制，使不同模型与简单基线之间的差距可以被直接比较。
为什么值得看
首个量化评估 LLM 作为科研代理追踪研究趋势能力的基准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。