论文提出TESS框架解决LLM数据选择网络优化不稳问题
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把权重换成选择网络
这篇论文关注的是在规模庞大且成分复杂的语料上训练大语言模型时的数据选择问题。已有的元学习式训练数据选择方法，思路是从目标验证目标出发去学习每条数据的权重，从而替代依靠启发式规则打分的做法。但这类方法一直存在一个取舍：要么对单条样本的估值足够细致，要么能把学到的选择能力迁移到没见过的数据上，两者难以兼得。一个看起来顺理成章的改进方向，是把逐样本的权重替换成一个选择网络，让网络直接输出选择结果。作者指出，把这样的网络直接塞进现有的元学习式训练数据选择目标里，会带来优化过程不稳定以及泛化能力差的问题，原因在于权重被压制，以及对容易学习的特征的持续依赖。
新目标与迁移表现
针对上述问题，作者提出了名为 Transferable Example Scoring and Selection（TESS）的数据选择框架，其基础是一个 Pointwise Value Matching 目标，简称 PVM。与把选择网络直接嵌入既有目标的做法相比，这一框架换用了不同的损失设计，论文标题也点明可扩展、可迁移的元网络用于数据选择需要一种不同的损失，并说明那个显而易见的选择本身存在问题。在实验方面，作者在大语言模型安全以及定向指令微调两类任务上进行了验证，结果显示该方法具备较强的迁移能力：既可以从数据子集迁移到完整语料，也可以从较小的模型迁移到较大的模型。论文同时给出了可扩展性方面的定位，说明该框架面向的是大规模场景下的数据选择需求。
对使用者的意义
从适用范围看，这项工作面向的是需要在海量、异构语料上做训练数据筛选的场景，尤其是希望把在某一数据子集或某一规模模型上得到的选择能力，复用到更大语料或更大模型上的情形。其限制也来自论文自身的发现：如果沿用把选择网络直接接入现有元学习目标的做法，会出现优化不稳定与泛化不佳，因此不能简单地把网络替换进旧框架就期待效果。对读者而言，这意味着在构建数据选择流程时，损失函数的选择本身就是一个关键变量，而不是可以忽略的实现细节；同时，迁移性需要在子集到全集、小模型到大模型这两个方向上分别验证，才能判断方法是否真正可用。
为什么值得看
解决数据选择网络优化不稳痛点，实现跨模型与数据集的权重迁移，降低大模型数据筛选成本。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。