深度循环模型在离散规则世界中的知识迁移研究

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一项研究用类似数独的小型离散网格世界,测试深度循环模型在规则迁移上的表现。模型在多种规则组合上训练,并在四个新颖性层级上测试:新谜题、已知规则的新组合、从未同时出现的规则配对、以及训练中完全未见的规则实例。规则以符号描述或两个已解示例的形式输入,另设无规则信息基线。在重组已训练规则时,符号描述达到或超过示例(新组合上99%对95%);当规则组件从未在训练中共现时,符号描述低于无信息基线,而示例仍高于基线。该框架比ARC-AGI等基准更系统地测试泛化机制。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

小世界里的规则迁移

这项研究把注意力放在规模很小的离散世界上。所谓世界,指的是一批符合共同规则的网格配置,具体形式是类似数独的谜题:它们由同一个基础结构加上少量额外规则构成。作者训练了一个深度循环模型,训练时让它接触大量不同的规则组合,然后在四种新颖程度上做测试,分别是全新的谜题、已知规则的新组合、训练中从未一起出现过的两条规则配对,以及训练阶段完全没有见过的某条规则实例。模型获取当前生效规则的方式有两种,一种是直接给出符号化的规则描述,另一种是提供两个已经解好的样例;此外还设置了一个完全拿不到规则信息的模型作为对照基线。这样的设计把「规则以什么形式呈现」和「规则本身有多新」这两件事拆开来观察。

描述与样例的取舍

在把训练中见过的规则重新组合起来这一档上,符号描述的表现与样例持平甚至更好,论文给出的数字是前者对后者为百分之九十九比百分之九十五,对应的是新组合这一测试条件。但当测试对象变成那些组成部分在训练中从未同时出现过的规则实例时,情况发生反转:符号描述的成绩掉到了不给任何规则信息的基线之下,而样例形式仍然保持在基线之上。这说明规则以文字或符号形式给出,并不总能让模型把已知部件拼装成没见过的整体;用两个解好的例子来示范,在这种更陌生的情形下反而更稳。两种输入形式各有其失效的边界,这一点是论文用同一套模型、同一批规则组合对比出来的。

相比既有基准的位置

作者强调,这套框架的价值在于能比 ARC-AGI 一类基准更系统地检验多种泛化情形。他们指出,深度循环推理模型通常是在已经饱和的数独基准上被评估的,那些测试很难再区分模型能力的高下。而这里构造的小世界可以按规则组合的新颖程度分层,从换一道新题一直到换一条从未见过的规则,逐级加压,从而为评估这类模型提供新的落脚点。论文于二〇二六年十月十日提交,编号为 arXiv:2610.15081,属于 cs.AI 分类,作者是 Silvère Gangloff 与 Jan Hula。对关注推理模型泛化能力的读者来说,可留意的是规则呈现方式与规则新颖度之间的这种交叉影响,以及把评估拆成多个新颖层级这一做法本身。

为什么值得看

揭示符号规则与示例学习在组合泛化上的差异,为深度循环推理模型提供新评测思路。

信源1 家

  1. [1]arXiv cs.AI一手信源Knowledge transfer between simple discrete worlds

关键事实

  • 研究在小型离散网格世界中进行,使用由共同基础加少量额外规则构成的类数独谜题[1]

  • 模型在多种规则组合上训练,并在四个新颖性层级上测试[1]

  • 规则以符号描述或两个已解示例输入,并设无规则信息基线[1]

  • 重组已训练规则时,符号描述在新组合上达99%,示例为95%[1]

  • 规则组件从未在训练中共现时,符号描述低于无信息基线,示例仍高于基线[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。