Rubricon 提出无需人工标注的评分标准自动生成流程
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Rubricon 是一条自动生成评分标准（rubric）的流程，不需要人工偏好标签、rubric 标注，也不需要训练生成模型。它用任意 LLM 采样多份 rubric，挑出区分度最高的候选，再补充遗漏的评分要求或回答缺陷，并删掉偏离或浅显的条目；除 LLM 自我批评和测试时扩展外，还用示例回答上各条标准的通过率来指导改进。在五个专业、消费、临床和通用 LLM 基准上，其打分与专家撰写的 rubric 的一致程度比 RRD、QSRG、OpenRubrics 及 Codex 等 agentic 生成方案中最好的一个高 9%。在 HealthBench 上，用 Rubricon 的 rubric 对 Qwen3.5-9B 做后训练，效果比用最强替代方案 RRD 的 rubric 训练好 4.5%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载免标注的生成思路
Rubricon 针对的是没有可验证答案的任务：这类任务靠 rubric 分配奖励，而从零人工编写 rubric 成本很高。该流程不依赖人工偏好标签、rubric 标注，也不需要训练一个专门的生成模型，直接调用任意 LLM 即可运行。具体做法是先采样多份候选 rubric，再从中挑出区分度最高的一份，然后补充此前被忽略的评分要求或回答缺陷，同时剪掉与目标不一致或过于浅显的条目。
用通过率指导改进
除 LLM 自我批评和测试时扩展之外，Rubricon 还把示例模型回答在各条标准上的实际通过率作为改进信号，据此调整 rubric 的条目。这一信号来自模型回答与标准的对照结果，而非额外的人工判断，因此整个流程可以端到端自动运行。材料未披露采样份数、迭代轮次等具体配置。
评测与后训练结果
在五个覆盖专业、消费、临床与通用场景的 LLM 基准上，Rubricon 生成的 rubric 给前沿模型回答打分，与专家撰写的 rubric 的一致程度比 RRD、QSRG、OpenRubrics 以及通过 Codex 等 harness 实现的 agentic 生成中最好的方案高 9%。在 HealthBench 上，用 Rubricon 的 rubric 对 Qwen3.5-9B 做后训练，性能比用最强替代合成 rubric 生成器 RRD 的 rubric 训练高 4.5%。
为什么值得看
对缺少可验证答案的任务，rubric 是奖励信号来源，但人工编写成本高；该工作给出免标注的自动生成与改进路径，并报告了…
Qwen
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。