注册

论文提出PASS方法：长尾分布下自适应选择SFT指令

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿于arXiv的论文指出，监督微调（SFT）中不同概念获得的预训练支持差异明显：高频概念学得好，稀有概念表征弱。作者提出「先验壁垒」这一概念，用来衡量预训练模型对竞争概念相对目标概念的支持强度，并发现先验壁垒呈长尾分布，头部概念起点低、尾部概念起点高，需要更多指令才能跨越。基于此，作者提出PASS，一种自适应SFT指令选择方法：构造参考衍生概念，估计每条指令提供的区分性证据，并在有限预算下把选择额度分配给当前覆盖不足的概念。实验显示，该方法在四种骨干模型与预算设置下均优于七种现有指令选择方法，消融实验表明自适应分配优于均匀分配。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

先验壁垒与长尾起点

论文关注监督微调的一个前提问题：预训练模型对不同下游概念的支持程度并不一致。作者用「先验壁垒」来刻画预训练模型在竞争概念与目标概念之间的支持差距，壁垒越高，说明模型越不倾向于目标概念。观察结果是这类壁垒并非均匀分布，而是呈长尾形态：处于头部的概念壁垒较低，模型已有较好基础；处于尾部的概念壁垒较高，仅靠少量指令难以纠正，需要更多监督信号才能被有效学习。这一观察把SFT的数据需求差异归结为起点差异，而不是笼统的数据量不足。

风险上界与证据视角

在理论层面，作者推导了长尾先验壁垒条件下SFT的预测风险上界，其中同时出现先验壁垒与累积SFT证据两项，说明最终预测表现由两者共同决定：壁垒高的概念需要更多证据才能把风险压下来。这一分析为后续方法提供了依据——指令选择不应只看单条指令本身的质量，还要看它相对于当前概念覆盖状况能补充多少区分性证据。

PASS如何分配选择预算

PASS是一种自适应指令选择方法。它先构造参考衍生概念，再估计每条候选指令能为这些概念提供多少区分性证据，随后在有限预算下，把选择额度优先分配给当前选择集合中覆盖仍不充分的概念。也就是说，它同时回答两个问题：哪些指令能提供有用证据，以及哪些概念还需要额外监督。与均匀分配相比，这种按需倾斜的策略在消融实验中被证明能持续带来改善。

实验设置与结果

实验覆盖四种骨干模型与预算设置，PASS在这些组合下均优于七种现有指令选择方法。消融研究进一步对比了自适应分配与均匀分配，结果显示前者稳定更好。论文同时给出arXiv编号与DOI信息，标注为cs.AI、cs.CL、cs.LG交叉领域。对做SFT数据筛选的读者而言，可复用的要点是：把概念覆盖缺口作为分配依据，而不是对所有概念平均投放指令预算。

为什么值得看

做SFT数据配比与指令筛选的团队可关注：它把「哪些概念缺监督」量化成可分配预算的问题。

微调量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution

关键事实

  • 论文提出「先验壁垒」概念，用于量化预训练模型对竞争概念相对目标概念的支持强度[1]

  • 作者观察到先验壁垒呈长尾分布，头部概念壁垒低、尾部概念壁垒高，需要额外指令才能克服[1]

  • 理论分析给出了长尾先验壁垒下SFT的预测风险上界，刻画先验壁垒与累积SFT证据如何共同决定预测表现[1]

  • PASS通过构造参考衍生概念、估计每条指令的区分性证据，在有限预算下向覆盖不足的概念倾斜选择额度[1]

  • 实验在四种骨干模型与预算设置下，PASS优于七种现有指令选择方法；消融实验显示自适应分配优于均匀分配[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论