论文提出 NHNM：把原始正例改造成指令检索的天然难负例
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对指令跟随检索（IFIR）中指令条件下的对比监督稀缺问题，论文提出自然难负例挖掘（NHNM）。已有合成方法通常固定正例段落再生成额外负例，忽略了原始正例本身可作难负例的潜力。NHNM 在查询兼容的指令下把可转换负例提升出来，并将原始正例改用作天然的指令难负例，其自动化流程包含候选清洗、反转构造与几何过滤，产出与预训练检索空间对齐的紧凑高对比监督。应用于 MSMARCO 得到约 7K 条实例的 NHNM-MARCO 训练集；在 InstructIR 与 FollowIR 上，568M 至 4B 参数模型微调后表现较强，部分设置下与更大规模检索器持平或超过。消融分析将增益归因于天然难负例监督，而非模型规模或数据量。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在监督信号
指令跟随信息检索要求检索器同时依据查询和该查询专属的指令来给文档排序，但材料指出，以指令为条件的对比监督仍然稀缺。现有合成做法一般先固定一个正例段落，再围绕它生成额外负例，原始正例只被当作锚点使用，其作为难负例的潜力被放过。NHNM 的出发点正相反：在查询兼容的指令下，某些负例可以转换成正例，而原来的正例在换了指令之后反而成为天然的难负例。这样得到的监督信号与预训练检索空间更贴合，对比度也更高。
三步自动化流程
NHNM 的流程由候选清洗、反转构造与几何过滤组成，三步都是自动执行的。候选清洗负责筛掉不可靠的候选，反转构造负责在查询兼容的指令下完成正负例的角色转换，几何过滤则依据检索空间的几何关系做进一步筛选，最终得到紧凑且高对比的监督数据。论文把这一流程应用到 MSMARCO，产出 NHNM-MARCO，规模接近 7K 条实例，属于指令跟随检索的训练集。
评测与归因
在 InstructIR 与 FollowIR 两个评测上，用 NHNM-MARCO 微调的模型参数范围从 568M 到 4B，表现出较强的指令跟随能力，在若干设置下与参数量明显更大的检索器持平甚至更好。论文通过受控分析与消融实验，把性能提升归因于天然难负例监督本身，而不是模型规模或训练数据量。这一归因意味着，在数据量不大、模型不大的条件下，负例的构造方式可能比堆规模更关键，对资源有限的检索与 RAG 团队有直接参考价值。
为什么值得看
用正例自身构造难负例，小模型在指令检索上可比肩大模型，值得做检索与 RAG 的团队参考。
微调对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。