RubricAtlas：从专家报告中挖掘类型级评分标准以评估深度研究智能体
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对深度研究智能体输出的分析报告，现有任务级检查清单难以覆盖整体分析结构。RubricAtlas 从同一研究类型下不同对象的专家报告中提炼类型级分析要求，围绕反复出现的分析问题组织细粒度检查，为同类任务提供共享标准但不规定答案。该框架把二元检查点与报告段落关联，将完整性评估与论证有效性分开。其构建基于 3079 份中文金融研究报告，覆盖 99 种研究类型。实验显示单份报告仅覆盖其类型约一半的分析问题，选取不同报告会改变评分与智能体排名；在十个智能体上，两条评判流程的检查点一致率为 κ=0.71，排名一致率为 Kendall τ=0.87。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
深度研究智能体需要多步检索网页并把信息整合成分析报告，评估这类输出不能只看相关事实是否出现，还要看它交付了哪些分析。针对单个查询的二元评分标准能把具体要求写清楚，但停留在任务层面的清单容易让整体分析结构得不到充分检查。RubricAtlas 的出发点是把评估单位从单个任务上移到研究类型：同一研究类型下会针对不同对象产出多份专家报告，这些报告共享一套反复出现的分析问题。
框架怎么构建
RubricAtlas 从同一研究类型下不同对象的专家报告中提炼类型级分析要求，并围绕反复出现的分析问题组织细粒度检查。这些要求为相关任务提供共享标准，说明应当分析什么，但不规定答案。框架把二元检查点与报告中的具体段落关联，使每个判断都能回溯到报告证据；同时把完整性评估与论证有效性评估分开处理。其构建语料为 3079 份中文金融研究报告，覆盖 99 种研究类型。
实验发现
参考报告选择实验显示，单份报告只覆盖其所属类型约一半的分析问题，因此从不同报告里选取要求会改变评估分数和智能体排名。在十个智能体上，两条评判流程的检查点一致率为 κ=0.71，智能体排名一致率为 Kendall τ=0.87。受控删除实验会降低受影响分析的得分，而填充内容没有产生可检测的提升，说明评分对分析缺失敏感、对无关内容不敏感。这些结果支持用类型级评分标准比较网页深度研究输出的分析完整性。
为什么值得看
为深度研究智能体的报告评估提供可追溯到原文证据的类型级评分方法，并揭示参考报告选择会左右排名。
智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。