arXiv 论文提出用可执行算术规则控制测试决策模型
论文AI 评分 58/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 收录一篇 cs.AI 论文，作者用可执行算术规则把受控输入变化与规则迁移、联合可靠性、有向信息使用联系起来。方法通过语义规则分离以及规则与状态的交叉测试，使迁移和联合成功可以分别度量；研究还比较了等价措辞、用保持边缘分布的重关联校准联合正确性，并通过改动表格定义替代答案目标。结果显示，适配增益随与最近来源答案的一致度上升；完全冲突的四元组汇总增益很小，且在不同来源划分上增益符号相反。等价改写会产生方向相反的任务级效果。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载受控测试的设计
论文关注决策模型如何把陈述的规则与观察到的状态映射为离散答案，并指出总体准确率无法说明究竟是哪条规则、哪类信息变化在引导答案。作者以可执行算术规则为实验载体，把受控的输入改动与三项指标对应起来：规则迁移、联合可靠性、有向信息使用。语义规则分离让不同规则的作用可以区分，规则与状态的交叉测试则把迁移成功和联合成功拆成两个可分别测量的量。研究还通过保持边缘分布的重关联来校准联合正确性，并用改动表格的方式定义替代答案目标。
等价措辞与增益差异
实验比较了语义等价但措辞不同的表述。结果显示，等价改写会在任务层面产生方向相反的效果，作者据此把迁移增益与规则的呈现方式联系起来。适配增益随与最近来源答案的一致程度提高而增加；当四元组完全冲突时，汇总后的增益很小，而且在不同来源划分上增益符号不一致。联合得分的偏离程度取决于参照保留了哪些规则与状态的关联。这些结果说明，聚合指标会掩盖规则表述和信息关联带来的差异。
对决策服务的观察
论文还考察了一个决策服务：面对语义等价的措辞，它给出的答案变化幅度大于对相同文本重复输入时的变化；当表格数值或映射被改动后，它通常跟随改动所隐含的答案目标。这一现象与前述受控实验相互呼应，指向同一结论：答案不仅由规则内容决定，也受规则如何呈现、哪些关联被保留影响。论文未在摘要中给出具体模型名称、数据集规模或量化提升幅度。
为什么值得看
关注决策模型评测方法的研究者，可从中看到把规则迁移与信息使用拆开度量的受控实验设计。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。