研究提出TVS指标追踪预训练中知识获取差异
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被AACL 2026接收的论文提出时间变异性分数（TVS），用同一条目在多个按年份网页快照训练的时间点模型上的负对数似然变异系数来衡量知识在历年网页文本中的表示一致性。作者用多个开源模型家族的六个模型评测六个不同主题的基准，发现低TVS与高TVS条目在训练早期学习情况相近，但高TVS条目在后期提升更快；预训练结束时，36个模型-基准组合中有34个是高TVS条目表现更好，平均领先7.3个百分点的机会归一化准确率，这一现象在知识密集型任务上最稳健。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载TVS怎么定义
论文关注的是：在多年网页语料上预训练的语言模型，如何随训练推进分别习得通用知识与领域知识，此前并不清楚。作者借助按不同年份网页快照训练的时间点模型，提出时间变异性分数（TVS），计算方式是某条目在各模型上负对数似然的变异系数。分数越高，说明该知识在跨年份网页文本中的表示越不一致。这一指标把「知识在时间维度上是否稳定」变成可量化的诊断量，而不是只看基准总分。
实验设置与主要发现
作者选取六个覆盖不同主题的基准，并使用来自多个开源模型家族的六个模型进行评测。结果显示，低TVS与高TVS条目在训练早期学得差不多，差距主要出现在后期：高TVS条目提升更快。预训练结束时，36个模型-基准组合里有34个是高TVS条目占优，平均领先7.3个百分点的机会归一化准确率。作者指出，这一规律在知识密集型任务上最稳健，即便把难度相近的条目放在一起比较也依然成立。
对评测与数据工作的意义
论文的结论指向预训练过程中不同知识的习得节奏存在差异，而TVS提供了超越聚合基准分数的观察角度。对关心数据配比、训练阶段监控与基准设计的人而言，这意味着单看总分可能掩盖条目层面的变化；按时间变异性给条目分组，能看出模型在哪些知识上后期仍在快速进步。论文被AACL 2026接收，当前版本修正了附录中的少量错误。
为什么值得看
给出一个不依赖总分的新诊断量，可观察预训练各阶段哪类知识在变强，对数据配比与评测设计有直接参考价值。
模型评测开源模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。