BoundaryEvo 提出数据-模型协同进化框架，提升小模型长链推理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载固定训练集的代价
从大教师模型蒸馏长链推理轨迹，是提升小语言模型推理能力的常见做法。但已有方法通常在蒸馏开始前就选定一个固定训练集，忽略了某个推理样本的价值会随学生模型的成长而变化。当可用的教师轨迹数量很少时，这种错配的代价尤其明显：学生已经掌握的样本提供不了新的监督信号，而远超学生当前能力的样本又难以学习。训练数据本应随模型能力一起演化，可学生初期能力较弱时，可靠地筛选数据本身就很困难。论文正是围绕这一矛盾展开。
两阶段协同进化
BoundaryEvo 的思路是先建立基础推理能力，再让训练数据去适配学生不断变化的能力边界。第一阶段 Capability Priming 直接蒸馏一小批教师生成的长推理轨迹，不引入单独的模型来做判断和过滤，目的是让学生在做能力感知的数据选择之前先具备初步推理能力。第二阶段 Capability-Boundary Co-Evolution 则反复挑选当前学生尚未掌握、但专家能够可靠解出的题目，并随着学生的进化更新训练数据，使样本始终落在能力边界附近。
小样本下的基准表现
论文给出的实验结果显示，BoundaryEvo 只用 1000 条训练样本，就在 11 个推理基准上稳定超过静态数据选择与动态数据选择两类基线。具体到 Qwen3.5-4B，IMO-AnswerBench 上的准确率由 62.9 提高到 75.3，AMO-Bench 上由 26.8 提高到 46.0。论文共 29 页、7 张图，作者表示代码和数据将公开。
为什么值得看
用 1000 条样本把 4B 模型在两个推理基准上大幅拉高，且数据选择随模型能力动态调整，对做小模型推理蒸馏的团队有直…
信源1 家
关键事实
论文提出 BoundaryEvo，一个两阶段的数据-模型协同进化框架，用于长链推理蒸馏。[1]
第一阶段 Capability Priming 直接蒸馏少量教师生成的长推理轨迹，不使用单独模型进行判断和过滤。[1]
第二阶段 Capability-Boundary Co-Evolution 反复选择当前学生未掌握但专家能可靠解决的题目，并随学生进化更新训练数据。[1]
仅用 1000 条训练样本，在 11 个推理基准上超过静态和动态数据选择基线。[1]
Qwen3.5-4B 在 IMO-AnswerBench 上准确率从 62.9 升至 75.3，在 AMO-Bench 上从 26.8 升至 46.0。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。