FinAutoRubric：专家引导的金融研究智能体评估框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载专家定规则代理做生成
FinAutoRubric 把评分标准的制定拆成两层。人类专家只负责给出可复用的评估指引，这些指引既作为提示词约束每个代理，也作为代码可以强制执行的规则存在。真正针对具体查询生成评分细则、复核和校验的工作，交给代理与代码完成。为了让这套指引能跨任务延续，研究团队设置了一个任务库，用来存放可重复使用的评判标准，使同一套专家要求不必在每个新任务上重新表述。这种分工与专家逐条审阅的金融基准形成对照：后者依赖固定的、逐项写死的评分细则，扩展成本高，而且无法把某家机构自己的标准编码进去。FinAutoRubric 试图让标准来源从一次性的人工撰写，转为可携带、可复用的专家指引加自动生成流程。
写手查值审稿人复核
在遵循专家指引的长周期循环里，系统安排了两个角色。写手代理负责为每一个预期数值做调研，审稿代理则对这些数值逐一核验，一旦出现无法通过的情况，就升级交由人类处理。这一机制针对的是金融研究评估中的一个具体难点：评分不仅要看表述，还要把数值固定在某个信息截止时点上的正确取值。论文称，在三个由专家撰写的金融基准上，该方法生成的评分细则在贴合专家打分方面，与所评估的最强生成器表现相当，同时在更多评判条目上给出了专家细则所要求的预期值；其评分与人工评阅结果一致，并且在盲评中更受内部分析师青睐。这些结论对应的是评分细则质量，而非代理本身的投研能力。
百题基准与代际差距
研究团队还发布了一个包含 100 个查询的 FinAutoRubric 基准，题目取自内部分析师关注的关键问题，覆盖 78 项任务和八类资产。该基准的一个用途是观察模型代际差异：由较早一代模型生成的评分细则，在面对较晚一代模型时仍留有提升空间。这意味着评分标准本身会随模型能力演进而需要更新，固定不变的细则容易迅速失去区分度。对使用这类评估的人来说，可复用的专家指引加自动生成，降低了为每个新任务重写细则的成本，也便于把机构自身的标准写进流程；但适用范围仍受限于专家指引的质量、信息截止时点的设定，以及失败案例需要人工介入这一环节。
为什么值得看
解决金融智能体评估中固定规则难扩展、成本高的问题，实现兼顾专家标准与机构定制化的自动评分。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。