何恺明团队推NAT-ARC：ImageNet预训练视觉模型逼近ARC专用LLM…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把ARC题当图像来解
NAT-ARC 的思路是把 ARC 题目直接当作视觉任务处理，绕开语言模型这条路径。ARC 由 François Chollet 在 2019 年提出，题目形式是彩色格子，格子边长最大 30×30，颜色最多 10 种，每道题给出 2 到 5 组输入输出示例，解题者需要从这些示例里推断出变换规则并应用到新格子上。NAT-ARC 不借助 LLM，而是用 ImageNet 上的猫、狗、花草等自然图像做预训练，让模型从像素层面学习格子的排布规律。这种做法与以往把 ARC 转成文本序列再交给语言模型的方式形成对照，模型规模也因此小得多。
预训练插在流程最前面
NAT-ARC 在 VARC 的流程之前插入了一步 ImageNet MAE 预训练。MAE 是何恺明 2022 年在 FAIR 提出的自监督方法，ImageNet 包含约 130 万张自然图像。NAT-ARC 直接使用 MAE 的公开 checkpoint，没有再做额外的预训练。结构上，它丢弃了原有的 patch embedding 和位置编码，改用 2D RoPE 来处理格子中的位置关系。测试阶段，NAT-ARC 对每一道题单独做 LoRA 微调，让模型在少量示例上快速适配该题的变换规则。这一整套做法把通用视觉预训练与题目级的轻量适配串在一起。
小模型也能拿到高分
在 ARC-1 上，NAT-ARC 最佳单模型的 pass@2 成绩为 63.4%，把多个模型集成后得分提升到 70.2%。作为参照，VARC 用 19M 参数的视觉模型达到 54%，LoopViT 用 18M 参数达到 65.8%，Loop-OWM 用 10.6M 参数达到 68.5%。这些数字说明，参数量并不是决定 ARC 成绩的唯一因素，预训练方式与测试时的适配策略同样影响结果。对关注 ARC 进展的读者来说，NAT-ARC 提供了一条不依赖语言模型的路线，其单模型与集成成绩之间的差距也提示集成仍是提升得分的有效手段。
为什么值得看
证明自然图像预训练的视觉特征可迁移至抽象推理，为小参数视觉模型突破scaling瓶颈提供新路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。