BackTrend基准测试揭示大模型预测科研弱信号能力严重不足
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
BackTrend是一个回溯式基准，用于评估系统预测科研弱信号（即早期低可见度但后来成为核心的研究方向）的能力。该基准包含AI/ML领域的25个成熟目标主题与66个人工验证的弱信号，依据2019至2024年的发文频率轨迹重构。系统需在时间证据约束下恢复问题空间与解决方案空间两类前驱信号。评测显示，当前前沿大模型、RAG及智能体系统常生成看似合理但错位的预测，表现最优系统的F1值仅10.1%，Coverage10至多18.5%。增加检索与网络搜索证据仅能在适度预算内提升表现，无法弥合巨大性能差距。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准构建与信号定义
科研弱信号指早期可见度低、随后演变为成熟科学主题核心的研究方向。现有趋势追踪或引用预测等资源缺乏将早期前驱与后续范式关联的验证参考集。BackTrend采用回溯构建方式，给定成熟目标主题与时间证据约束，要求系统恢复两类前驱：问题空间信号（被低估的研究问题）和解决方案空间信号（针对已知问题的新兴方法）。该基准涵盖人工智能与机器学习领域的25个成熟目标主题及66个人工验证弱信号，所有候选信号均基于其2019至2024年的发文频率轨迹进行锚定重构。
系统评测与核心缺陷
研究对前沿大语言模型、RAG系统及智能体研究系统进行了评估，采用语义匹配与基于覆盖率的指标。结果表明，现有系统常生成看似合理但实际错位的前驱预测，主要表现出主题偏移、粒度不匹配、近似命中及覆盖不全等缺陷。性能数据方面，最强系统的F1值仅达10.1%，Coverage10指标最多覆盖18.5%的参考信号，凸显当前模型在捕捉科研弱信号上的能力严重不足。
增强手段效果与局限
针对系统表现不佳的情况，研究进行了预算分析，探讨额外引入检索与网络搜索证据的影响。分析显示，在适度预算范围内，增加此类外部证据能够提升系统性能。然而，单纯依赖增加检索与搜索证据并不能弥补当前系统与参考信号之间存在的巨大性能差距，表明要解决科研弱信号预测问题，仅靠现有的检索增强方案远远不够，需在模型基础能力或方法架构上寻求更深层次的突破。
为什么值得看
暴露前沿大模型在科研前瞻与弱信号捕捉上的严重缺陷，指明RAG等增强手段的局限性。
大模型智能体RAG基准测试
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。