arXiv 论文对 RAG 检索层做投毒压力测试

论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文对 RAG 的检索准入环节做压力测试,变量包括文档内容、攻击者掌握的查询信息、每个目标的投毒预算和污染范围。在 SciFact 与 NFCorpus 共 623 条 BEIR 查询上,每条查询配 5 篇针对性文档,使经典检索器的 nDCG@10 下降 40.2% 至 61.5%。作者指出,BM25 的退化主要来自整条查询被锚定;预训练 BGE-small 在仅用查询、P=5 时两个数据集的目标暴露率均达 100%。研究只测检索层失效,不涉及下游指令遵循。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把压力加在准入环节

这项研究把注意力放在检索增强生成流程中一个容易被忽略的位置:外部文本必须先被检索器放进模型上下文,才可能影响后续生成。作者围绕这一准入步骤设计压力测试,改变的条件包括文档内容、攻击者掌握的查询信息、针对单个目标的投毒预算,以及污染覆盖的范围。测试语料取自 SciFact 与 NFCorpus 两个数据集,共使用 623 条 BEIR 查询。研究给出的定位很明确:它衡量的是检索层的失效情况,而不是模型在拿到上下文之后的指令跟随表现。

五篇文档带来的排序下滑

在隔离目标的压力设置下,每条查询配五篇经过针对性构造的文档,经典检索器的 nDCG@10 出现明显下降。作者把下降幅度表述为一个区间,而非单一数值。对 BM25 而言,退化主要可以由整条查询被锚定来解释;当投毒文档在正文之外追加文本时,潜在语义分析与混合排序的结果也会发生位移。这说明不同检索机制对同一种污染的敏感点并不一致,追加内容会改变语义匹配层面的排序。

稠密模型的目标暴露

作者用预训练的 BGE-small 做了验证。在仅提供查询、每条目标配五篇文档的条件下,两个数据集上的目标暴露率都达到 100%。在此基础上再加入注入载荷,SciFact 的 nDCG 仅从 0.269 变为 0.271,NFCorpus 的暴露率则略微降到 98.8%。作者据此认为,对这个稠密模型来说,查询锚定仍是检索侧起主导作用的因素,注入载荷带来的额外变化有限。

查询长度与多目标干扰

查询长度会改变部分信息攻击的解读方式。在 SciFact 的 162 条长查询上,两个随机词覆盖了 19.9% 的可用词,仍能带来 39.5% 的混合排序目标暴露。多目标污染会引入目标之间的交叉干扰。作者还测试了两种防御思路:基于重叠的准入可以清除整条查询型投毒,但可能大幅削弱干净查询的检索效用;最大边际相关性在测试配置下没有改变暴露情况。

为什么值得看

想了解 RAG 检索环节在语料投毒下的脆弱程度与现有缓解手段边界的读者值得一看。

RAG论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Reliability Stress Testing of RAG Retrieval under Query-Relevant Corpus Poisoning

关键事实

  • 测试覆盖 SciFact 与 NFCorpus 的 623 条 BEIR 查询[1]

  • 每条查询 5 篇针对性文档使经典检索器 nDCG@10 下降 40.2% 至 61.5%[1]

  • 预训练 BGE-small 在仅用查询、P=5 时两个数据集目标暴露率均为 100%[1]

  • 加入注入载荷后 SciFact nDCG 仅从 0.269 变为 0.271,NFCorpus 暴露率降至 98.8%[1]

  • 基于重叠的准入可清除整条查询投毒,但可能大幅降低干净检索效用,MMR 在测试配置下未改变暴露率[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。