CA-HNM:用领域结构约束筛选稠密检索的难负样本

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 CA-HNM 框架,把基于检索的候选生成与来自结构化领域模型的确定性不兼容规则结合起来,用于稠密检索的难负样本挖掘。做法是先剔除已知正例,围绕查询目标构建带类型的局部上下文,记录关系、范围、目标与层级四类不匹配,再用这些候选微调标准双编码器;结构化信息只在离线构建负样本时使用。作者在 MOOCCubeX 与 Course-Skill Atlas 两个数据集上,用两种编码器、两种训练损失和十个随机种子做评测。与检索排名匹配的对照组相比,CA-HNM-Pure 在八种数据集、编码器与损失的组合中有六种的 NDCG@10 均值更高,四个分层 95% bootstrap 区间整体位于零以上,且多出现在 triplet loss 下;CA-HNM-Mixed 在两个集合上的 NDCG@10 均值也略高于匹配的混合对照组。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

方法:规则筛负例

论文关注的问题是:从词法或稠密检索结果中挑出的难负样本,只说明候选与查询在检索空间里接近,并不说明它是否与显式的领域结构相冲突。CA-HNM 因此把两类信号拼在一起:一边是检索产生的候选,另一边是从结构化领域模型推导出的确定性不兼容规则。流程上先移除已知正例,再围绕查询目标构造一个带类型的局部上下文,把关系、范围、目标、层级这四类不匹配逐条记录下来,最终得到的候选用于微调一个标准双编码器。作者强调结构化信息只在离线构建负样本的阶段需要,推理与训练阶段并不依赖它。

实验设置与对照

评测在 MOOCCubeX 和 Course-Skill Atlas 两个集合上展开,覆盖两种编码器、两种训练损失以及十个随机种子,以降低单次运行带来的波动。对照组不是随意选取,而是与检索排名相匹配的控制组,用来区分收益究竟来自约束规则还是来自负例本身的难度分布。除纯约束版本 CA-HNM-Pure 外,论文还设置了 CA-HNM-Mixed,与同样匹配的混合对照组比较。

结果与边界

在八种数据集、编码器与损失的组合中,CA-HNM-Pure 有六种的 NDCG@10 均值高于排名匹配的对照组;四个分层 95% bootstrap 区间整体位于零以上,且多数出现在 triplet loss 条件下。CA-HNM-Mixed 在两个集合上的 NDCG@10 均值都略高于匹配的混合对照组。结构变体实验显示,可用结构的变化会改变候选的合格性与负例池的组成,因此约束感知选择带来的增益取决于训练目标以及负例池的构成,并非在所有配置下都稳定成立。

为什么值得看

难负样本质量直接影响稠密检索效果,这篇给出了用领域结构规则筛负例的可复现做法与对照实验。

微调论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源CA-HNM: Constraint-Aware Hard Negative Mining for Dense Retrieval with Structured Domain Models

关键事实

  • CA-HNM 将检索候选生成与结构化领域模型推导的确定性不兼容规则结合[1]

  • 框架记录关系、范围、目标、层级四类不匹配,结构化信息仅在离线构建负样本时使用[1]

  • 评测覆盖 MOOCCubeX 与 Course-Skill Atlas,两种编码器、两种损失、十个种子[1]

  • CA-HNM-Pure 在八种配置中的六种 NDCG@10 均值高于检索排名匹配的对照组[1]

  • 四个分层 95% bootstrap 区间整体高于零,多出现在 triplet loss 下[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。