研究：微调前知识表征的线性可读性可预测泛化能力
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一项研究区分了语言模型中的「活跃事实」与「惰性事实」：前者能支持超出自身回忆范围的泛化，后者只能被回忆。研究者通过为已有关系的答案分配任意新标签来构造新关系，例如把「城市→大洲」的答案重新标记为动物名，再对部分主语微调新关系，测试模型能否对共享原答案的留出主语给出正确新标签。在十一个语言模型和七十个关系上，原关系在预训练表征中的线性可读程度与这种泛化能力高度相关，Pearson r 为 0.87 至 0.92。该关联在控制多种因素后依然存在。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载活跃事实与惰性事实的区分
研究关注语言模型回忆事实的能力与其支持进一步学习的能力并不等同。作者将事实分为两类：活跃事实能够支持超出自身回忆范围的泛化，惰性事实虽可被回忆，却无法在特定任务中支持这种泛化。为研究这一区分，他们从已有关系出发构造新关系。例如，取「地点→大洲」这一关系，为其每个答案分配一个任意的新标签，如欧洲对应螃蟹、亚洲对应斑马，于是新关系将巴黎映射为螃蟹。模型仅在一部分主语上微调新关系，且不被告知原关系或重标记规则，随后测试它能否对在原有关系中共享同一答案的留出主语给出对应标签。
线性可读性与泛化的强关联
在十一个语言模型和七十个关系上，原关系在预训练表征中的线性可读程度，强烈预测了上述泛化表现。在每个模型内部，两者跨关系的相关系数达到 Pearson r = 0.87 至 0.92。这一关联在分别和联合控制微调主语数量、答案数量、模型在原关系上的准确率以及主语在预训练文本中出现频率后依然存在。结果对重新随机化标签分配和微调随机种子也保持稳健，并且将动物标签替换为来自其他十三个语义类别的标签后依然成立。
错误标签的恢复与结论
当把微调模型的错误标签映射回其被分配的原答案时，例如将慕尼黑→斑马还原为慕尼黑→亚洲，以这种方式恢复的答案，比预训练模型自身的顶部答案更常出现在线性探针针对该主语的顶部答案中。研究由此提出，新关系能否泛化，较少取决于其事实能否被回忆，而更多取决于这些事实的共享结构能否被线性读出。
为什么值得看
揭示微调泛化能力可由预训练表征的线性结构预测，为理解模型知识组织提供新视角。
微调
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。