研究者发布 ConceptARC-100：1600 个 ARC 风格任务，规模…
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队提出 ConceptARC at Scale 生成器，可针对特定概念批量生成 ARC 风格任务，并据此构建 ConceptARC-100 数据集：覆盖 ConceptARC 定义的 16 个概念，每个概念 100 个任务，共 1600 个经人工复核的新任务，规模为原基准的十倍。团队用该数据集评测多种近期大型推理模型及从零训练的模型，考察各概念上的稳定解法与失败之处，并分析模型内部表征，发现任务表征按对物体施加的操作（如重新着色、移除、平移）聚类，即使规则与场景差异很大也是如此。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载新基准的构成
ARC 用二维网格上的少量示例要求解题者推断变换规则，是研究抽象能力的受控测试环境。单个 ARC 任务只考察任务内部的规则抽象，但不同任务可能共享更高层的结构，例如多个任务都涉及对「包含在其他物体内部的物体」进行推理。ConceptARC 通过把 ARC 风格任务归入反复出现的空间与语义概念来捕捉这种结构，但每个概念下通常只有少量人工构造的任务。ConceptARC at Scale 针对这一限制，提供可围绕指定概念批量生成任务的生成器，并据此产出 ConceptARC-100：16 个概念各 100 个任务，合计 1600 个经人工复核的新任务，规模达到原基准的十倍。
评测与表征发现
团队在 ConceptARC-100 上评测了多种近期大型推理模型，以及从零开始训练的模型，用以刻画哪些概念能被稳定解决、哪些概念构成难点。除准确率外，研究还检查了模型的内部表征，发现其中存在清晰的语义结构：任务表征会按照施加于物体的操作聚类，例如重新着色、移除或平移，即便这些操作由差别很大的规则和场景实现。作者据此认为，模型形成了关于变换操作的稳定抽象，并能跨多样任务泛化。论文共 23 页、14 张图。
为什么值得看
想判断推理模型是否真正形成可迁移的抽象能力，这份十倍规模的受控评测集和表征分析提供了可复用的测量工具。
推理模型数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。