arXiv 论文提出知识编译层,检索代理查询 token 平均降 38%

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文把检索增强生成中的检索代理拆成两层:一层是负责写查询、读结果、改写查询并判断何时停止的 harness,另一层是负责知识编译的摄取管线。作者称,仅用 BM25/grep 搭配 MiniMax M3 的 harness 在 BrowseComp-Plus 上答对 85%,在多跳 FRAMES 上答对 91%,不需要编译索引或向量索引。但不受约束的循环会重复查询、反复读文档、把窗口塞满无用段落。以 claim-evidence 对为叶子的导航树在证据充分时把查询 token 削减 91%,证据不足时增加 1.9%,平均降 38%;据此推算盈亏平衡的充分率为 2%,实测约 43%。决策门把延迟从 140 秒降到 30 秒。RAGFlow 的管线与 harness 已开源。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

harness 解决了准确率

论文把检索增强生成的变化归结为「代理化」:搜索 harness 自己写查询、读结果、改写查询,并判断何时停止。作者在实验中只给 harness 配上 BM25/grep 与 MiniMax M3,不使用编译索引或向量索引,在 BrowseComp-Plus 上得到 85% 的答对率,在多跳 FRAMES 上得到 91%。这说明在 harness 足够能干的前提下,检索准确率本身已不是主要瓶颈。真正暴露出来的是上下文问题:不受约束的循环会重复同样的查询、反复重读同一批文档,把上下文窗口填满未被使用的段落。

编译是供给层而非检索器

论文强调知识编译不是「更好的检索器」。在称职的 harness 下,结构化产物在 FRAMES 上没有带来可检测的准确率提升,PageIndex 式的大纲在规模变大后反而退化。作者把编译定位为供给层:一条可配置的摄取管线,由 LLM 为文档补充单个分块无法承载的上下文,例如带 claim-evidence 叶子的导航层级、实体图、时间线、思维导图、本体、wiki 与记忆。其中被量化的是导航树这一机制:证据充分时查询 token 减少 91%,证据不足时增加 1.9%,平均下来降 38%。

盈亏平衡与延迟代价

由上述两个方向的幅度可以推出,充分率只需约 2% 就能打平,而实测充分率接近 43%,因此平均收益为正。但节省并非没有代价:替代方案省下 token 的同时增加了检索轮次,自身也带来延迟开销。论文给出的决策门把延迟从 140 秒压到 30 秒。其余产物,包括本体、图、wiki、时间线、思维导图与记忆,其价值体现在治理、集成、上手、时间定位与连续性等部署环节,准确率基准看不到这些收益。

开源实现与工程形态

作者描述了 RAGFlow 的管线与 harness,并给出开源地址。这套实现把循环拆成五个受约束的站点,目标是让进入模型的上下文始终是最小的充分集合,两者合起来构成面向 agent 的形态。对读者的意义在于:如果正在搭建检索代理,可以先评估 harness 本身的能力上限,再决定是否投入知识编译;编译的收益主要落在 token 成本与部署治理上,而不是基准准确率。

为什么值得看

给出了检索代理中「知识编译」这一层的量化收益与代价,对做 RAG 与 agent 上下文管理的人有直接参考价值。

MiniMaxRAG论文

信源1 家

  1. [1]arXiv cs.AI一手信源Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses

关键事实

  • 仅用 BM25/grep 与 MiniMax M3 的 harness 在 BrowseComp-Plus 上答对 85%,在多跳 FRAMES 上答对 91%[1]

  • 以 claim-evidence 对为叶子的导航树在证据充分时削减查询 token 91%,证据不足时增加 1.9%,平均降 38%[1]

  • 据此推算盈亏平衡的充分率为 2%,实测约 43%[1]

  • 决策门把延迟从 140 秒降到 30 秒[1]

  • RAGFlow 的管线与 harness 已开源[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。