研究提出推理精确性标准以衡量OOD泛化能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载精确性作为推理判据
这篇论文提出一个判据：模型要在训练分布之外仍然成立，它内部算出的表示必须与生成数据的机制在结构上等价，而不是对该机制做拟合近似。作者把这种等价视为分布内外都能精确的前提，并把外推能力归因于推理阶段的这种精确性，而不论它由何种方式实现。判据约束的是推理环节而非训练环节：一个落在区间内的精确边缘分布可以通过，而把神经网络输出做阈值化、压成硬标签的做法则不能通过。作者据此给出通过与否的划分，逻辑张量网络未能满足该判据，可微的归纳逻辑编程与温度取零时的张量逻辑则满足。
张量逻辑的构造方式
论文用张量逻辑作为例证。温度取零时的收缩运算与离散逻辑等价，它在原地完成推导，不额外抽取任何产物；其中的张量取布尔值，嵌入向量彼此正交，只有算术部分是连续的。由于缺少无限递归能力，它所能达到的是 Datalog 而非 Prolog；尽管在封闭域上是精确的，它仍需要外部存储才能绑定一个新出现的实体。作者强调，该判据既不要求表示是离散的，也不要求把表达式抽取出来，因此适用范围不限于符号系统。
两类失败是同一短板
论文把分段仿射外推的发散，与无法绑定新实体这两种现象，看作精确可表示性不足的两个侧面。对混合架构，作者给出一条传播规则：输出的界限继承自其路径上每一个拟合估计器的界限，这被用来解释等变模型在哪些轴上失效，以及 ARC-AGI 中归纳与直推之间的分野。作者还指出，只有精确的假设类才能对训练数据留下的欠定部分给出认证；在一个由定律导出的划分上，它能找出远处查询中可回答的那部分，而集成方法会以虚假的置信度给出回应，距离度量则把次序排反。
对使用者的含义
论文的落点在于选择假设类的方式。对称性、记忆等常见归纳偏置之所以能达到精确，是因为人把它们注入进去；作者由此主张去诱导精确的表示，而不是拟合替代物——后者的残差即使在训练时已到算术下限，离开数据后仍会发散，并在复合之下累积。对读者而言，这意味着评估一个模型能否外推，可以看它在推理时是否精确，而不必先看它是否采用离散形式或是否输出了可读表达式。
为什么值得看
为OOD泛化提供严密的表征标准与判据，揭示常见模型外推发散根源，指明走向精确表征而非近似拟合的路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。