研究将大模型科学发现能力追溯至训练数据中的单次事实率
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出用「缺失概率质量」的视角解释大模型的科学发现能力，认为训练中只出现一次的事实（monofact）决定了这种能力。作者在材料科学与监管基因组学两个领域直接调整训练集里的 monofact 比例，结果显示：在两个开放权重模型家族、不同采样策略与推理预算下，monofact 越多，发现结果越多。进一步实验表明，这一关系无法仅用训练集多样性解释；当搭配领域内数据时，该效应还能跨科学领域迁移。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用缺失概率质量解释发现
论文关注的问题是：大模型为何有时能给出可靠的科学发现，而这种能力能否回溯到训练数据本身。作者把该问题形式化为缺失概率质量，并提出一套理论解释，其中「monofact」——训练集中只被观察到一次的事实——被视为决定发现能力的关键量。这一提法把抽象的发现能力落到可统计的数据属性上，使后续实验可以通过改变数据构成来检验因果关系，而不是只在模型规模或推理算力层面寻找解释。
两个领域的操纵实验
验证在材料科学与监管基因组学两个科学领域展开。研究者在训练集中直接调整 monofact 的比例，再观察模型产出的发现结果。结果显示，monofact 比例更高时，发现数量稳定增加；这一规律在两个开放权重模型家族、不同采样策略以及不同推理预算下都成立，说明它并非某一模型或某一解码配置的偶然现象。实验设计的关键在于直接操纵数据而非被动观察，从而把变量锁定在 monofact 率上。
排除多样性并检验迁移
作者进一步检验了替代解释：训练集多样性本身不足以说明观察到的差异，monofact 率是独立起作用的数据因素。此外，当 monofact 调整与领域内数据配合时，效应可以跨科学领域迁移，意味着在一个领域获得的数据构成经验，可能对另一个领域的发现任务同样有效。论文据此把训练数据中的 monofact 率列为支配语言模型发现能力的关键因素，为预训练数据配比与科学场景下的数据筛选提供了可操作的指标方向。
为什么值得看
把「发现能力」归因到可量化的数据属性，为预训练数据配比与科学任务选数提供了可检验的抓手。
大模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。