AI 圈大事记

新基准 RAP 揭示 LLM 研究趋势预测偏差

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手

新提出的 RAP 基准覆盖 278 个 AI/ML 领域,用于评估大模型预测未来研究热度的能力。测试显示,即便具备搜索功能,四个诊断模型在组合准确度上均不及指数加权移动平均基准。研究发现模型存在证据获取偏差,倾向于检索较少的近期证据。微调能提升 Qwen3-4B 的预测相关性,仅 GPT-5.5 配合搜索略微超越基准线。

为什么值得看

首个量化评估 LLM 作为科研代理追踪研究趋势能力的基准。

GPTQwen大模型微调

信源1

  1. [1]arXiv cs.AI一手信源RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases

关键事实

  • RAP 基准覆盖 278 个 AI/ML 领域和 1390 个测试集。[1]

  • 受测模型在组合准确度上均未超越 EWMA 基准。[1]

  • 微调使 Qwen3-4B 在预测 Spearman 相关性上提升 0.105。[1]

  • 仅 GPT-5.5 配合重新开启的搜索功能略微超越 EWMA。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。