DeoGen：自动生成政策推理基准，前沿模型在信息不足时正确率降至22-40%
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文提出 DeoGen，一种可扩展、可参数化的道义推理基准自动生成器。它把政策规则自动形式化为一阶逻辑，据此构建决策树，每条从根到叶的路径构成一个基准条目，条目数量随树深呈组合式增长。到达叶节点的路径对应一个判定结论；未到达叶节点的路径则用来考察模型在信息不足时能否拒绝作答。评测显示，前沿模型给出正确判定的比例为 89-92%，但在信息不足以支撑判定的条目上，即便明确要求弃权，正确率也只有 22-40%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准如何自动生成
DeoGen 的出发点是把政策规则自动形式化为一阶逻辑，再以这些逻辑规则为基础构造决策树，让树上的分支对应规则适用后可能出现的不同走向。决策树的每一条路径都被当作一个独立的评测条目，条目数量随树的深度呈组合式增长，因此无需人工逐条编写，就能得到规模可调的测试集。作者把这一方法概括为自动、可扩展且可参数化，用来替代以往主要依靠手工构建的道义推理数据集。
两类条目的不同考法
路径的终点决定了条目的性质。走到叶节点的路径对应一个可以确定的判定结论，模型需要依据给定规则和事实给出这个结论。没有走到叶节点的路径则对应信息不足以支撑判定的情形，这类条目考察的是模型能否在缺少必要事实时拒绝给出结论，而不是勉强作答。两类条目混合在同一棵决策树中，使基准同时覆盖“该判就判”和“不该判就不判”两种能力。
评测暴露的短板
在实验中，前沿模型面对能够得出结论的条目表现较好，正确判定的比例为 89-92%。但在信息不足的条目上，正确率下降到 22-40%，而且这一结果是在明确指示模型应当弃权的情况下得到的。也就是说，模型在规则推理上的主要失误集中在“信息不够时仍然下结论”，而非在有足够依据时算错。这一差距说明，仅靠提示层面的弃权要求不足以纠正该行为。
为什么值得看
把政策合规推理的评测从手工编写转为自动生成，并揭示模型在信息不足时倾向于强行下结论这一短板。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。