學者提出ScholarCatalyst基準，評估檢索啟發新研究論文能力
論文AI 評分 65/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
為探究AI尋找啟發新研究先驗想法的能力，研究團隊構建了ScholarCatalyst基準。該數據集通過自動化流程讓207篇近期CS論文的184位一作標註了推動其項目進展的候選文獻及理由。任務設定為僅依據項目啟動時的文獻庫，檢索出這些啟發論文。實驗顯示，智能體搜尋的Recall@20為0.42，不及嵌入檢索的0.48；基於Claude Fable 5.1的智能體即便可能見過完稿論文，R@20也僅達0.51。結果表明當前模型亟需新訓練方法以獲取專家級檢索直覺。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載基準構建與任務設定
為研究AI系統從海量文獻中感知新問題所需先驗想法的能力，研究團隊開發了ScholarCatalyst基準。利用自動化流程實現作者標註的規模化，團隊邀請207篇近期計算機科學論文的184位第一作者，標記了哪些候選文獻確實推動或可能推動其項目進展，並附帶詳細理由。該基準定義了一項檢索任務：給定初始研究問題，要求系統僅從項目啟動時已有的文獻庫中，檢索出這些被作者認定的啟發式論文。
模型表現與實驗對比
實驗對比了不同檢索方案的表現。調用嵌入檢索器作為工具的智能體搜尋，其Recall@20為0.42，反而低於直接使用嵌入檢索的0.48。即便使用可能已在訓練中見過完稿論文的Claude Fable 5.1構建智能體，其R@20也僅提升至0.51。這些數據表明，現有智能體在處理寬泛語料庫的科學檢索時，缺乏人類專家的直覺，表現甚至不如基礎檢索方法。
研究願景與改進方向
上述結果凸顯了當前模型在科研靈感檢索上的侷限性，表明亟需新的訓練配方來賦予模型專家級的搜尋直覺。研究團隊期望ScholarCatalyst能成為邁向科學智能體的一步，使未來的AI系統能夠基於半成型的想法，精準指向其所需的先驗研究，從而輔助科學家更高效地開展創新工作。
為什麼值得看
揭示當前AI智能體在科研靈感檢索上不及傳統嵌入檢索，指明提升模型專家直覺的訓練方向。
Claude智能體論文數據集
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。