论文揭示循环算法推理器的过早洪泛失效模式
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载过早洪泛是什么
论文关注循环算法推理器的一种训练与运行不匹配：训练时在小图上按每一步给出提示，运行时却要在更大的图上执行多得多的步数。作者在 SALSA-CLRS 的广度优先搜索任务上观察到，推理器能够复现全部训练提示，仍然会在深层图上出错——在若干步完全正确之后，它把尚未被搜索到达的节点宣告为已到达。作者把这种现象命名为过早洪泛，并指出它并非单纯的精度下降，而是推理过程在深度增加后提前扩散。论文给出 33 页、6 幅图，归类于机器学习与人工智能方向。
两条触发路径
作者追踪到两条导致洪泛的路径。第一条出现在带度数输入的 GRU 处理器中：洪泛信息被隐藏在状态里，当度数输入落在训练分布的尾部时被触发；如果在推理阶段把该输入调得更高，洪泛会来得更早。作者还指出，六个出现洪泛的模型都没有对步数进行计数。第二条路径出现在去掉度数输入之后：此时若把邻居状态求和而不是求平均，处理器同样会被破坏。此外，在基准自带的 GIN 与 PGN 中，使用其代码训练时，部分随机种子会从某个固定步数开始洪泛，稀疏图与稠密图上都会出现。
哪些措施有效
论文测试了若干干预手段。对度数输入做截断，或者加入 200 张稠密训练图，可以消除 GRU 处理器的全部失败。在步与步之间分离状态，也能让该处理器不再洪泛，23 个种子中 0 个失败，而完整反向传播下有 6 个失败；但这一做法对使用求和或残差更新的情形无效，并且两种已发表的补救措施之后仍然存在洪泛。作者由此提出两项建议：审计每一个输入与聚合操作的取值范围，用以捕捉第一条路径；在深层图上进行测试，用以同时捕捉两条路径。
基准测试集的缺口
作者指出，该基准的测试集中没有任何一个同时具备深与稠密两个特征，这使部分失效难以在现有评测中暴露。其最深的测试集体现了第二条路径：在 1,600 个节点的 Delaunay 图上，一个 GIN 种子从第 18 步开始洪泛。这一观察支撑了作者关于补充深层图测试的建议，也说明仅凭现有测试集难以判断推理器在深度增加后的行为。
为什么值得看
揭示了算法推理器在分布外深度上失效的具体机制与可操作的排查手段，对训练与评测循环推理模型有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。