新基准RAGStress专测知识库退化下RAG鲁棒性
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载四类污染与三档强度
RAGStress 把知识库的损坏拆成四种贴近真实场景的类型：事实被改写、数字出现笔误、相关性被投毒、以及内容之间被塞入互相矛盾的说法。每一种损坏又按明显程度分成三档，从不易察觉、到中等、再到一眼可见。这样的组合让评测不再只问「检索对不对」，而是能观察同一套系统在损坏逐步加重时的表现曲线。整个实验建立在单一知识库之上，并借助元数据做过滤，避免多库混用带来的干扰。基准的题目来源覆盖 57 个 MMLU 学科，文档规模为 182,546 篇，最终累计完成 52,500 次模型—问题—条件组合的评测。作者同时公开了生成脚本、用于制造损坏的提示词、元数据结构和评测代码，方便他人复现或按需改造。
干净检索会掩盖差距
这批评测给出的一个直接观察是：当知识库保持干净时，不同系统之间的鲁棒性差异往往被掩盖，看起来表现接近；一旦引入损坏，差距才显现出来。另一个发现是损坏的性质比损坏的强度更关键——那些破坏语义忠实度的改动，造成的伤害明显大于仅仅扰动信号效用的改动。也就是说，让内容「读起来还是那段话但意思变了」，比让内容「变得不那么相关」更难被系统消化。此外，模型在不检索情况下的准确率，并不能用来预测它在检索到被污染内容时是否稳得住；而把干净库和损坏库混在一起测出的准确率，也不应当被当作最坏情况下的鲁棒性指标。这些结论共同指向一点：单看干净条件下的分数，无法说明系统在真实退化环境中的可靠性。
定位是压力测试
作者明确界定了这个基准的用途与边界。它被设计成一种受控的压力测试，用来考察 RAG 在知识库损坏条件下的稳健程度，而不是一份通用的模型排行榜。论文中专门记录了该基准适合支撑哪些结论、以及自身存在哪些局限。对使用 RAG 的团队而言，这意味着可以把 RAGStress 当作上线前的一道体检：先按四类污染和三档强度构造退化场景，观察自家系统在哪一类损坏下最先失分，再决定是加强检索过滤、还是调整生成环节对矛盾信息的处理。需要注意的是，它的结论建立在单一知识库加元数据过滤的实验设计上，换到多库、无过滤或领域差异较大的场景时，适用性需要另行验证。
为什么值得看
揭示干净库下RAG评测的局限性，提供量化评估知识库受损时系统鲁棒性的受控测试方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。