研究揭示多域中训数据配比最优解
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究针对预训练与对齐之间的中训阶段，探究不同领域数据配比的影响。实验基于 Qwen3-8B-Base 模型及五个逻辑推理领域，测试了 30 种数据分配方案。结果显示，每个领域均存在内部覆盖最优解，适度区间（10%-40%）表现最佳。此外，固定预算的对齐过程难以弥合由中训数据配比造成的性能差距，零覆盖会导致精度崩塌。
为什么值得看
揭示了中训阶段数据配比的关键作用，证明对齐难以修复中训引入的领域差距。
Qwen对齐
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。