注册

用LLM进化搜索优化生成式检索的语义索引

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出用 LLM 驱动的进化式程序搜索来改进生成式检索（GR）中原本靠手工设计的离散组件。研究用本地部署的开源 31B 模型改写可执行的 GR 组件，不调用闭源 API；同时用 1M 参数的代理解码器替代反复训练 1B 目标生成器，以提供快速反馈。在 NQ320K 的 21 个 SID 程序上，代理与目标的 Recall@100 排序相关性为 Spearman ρ=0.90。在固定训练配方下，该方法在 NQ320K、MSMARCO300K 和多语言电商数据集上均优于种子 GR；其中 NQ320K 上联合进化 SID 构建与冲突处理，使 Recall@1 从 55.8% 升至 59.3%，Recall@100 从 85.8% 升至 90.6%。组件研究显示，代理可靠性取决于被进化的对象：语义索引的改进可稳定迁移，而生成器训练目标或完整流程则不行。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

被优化的四个环节

生成式检索把搜索与推荐转化为离散语义标识符（SID）的自回归生成，SID 设计在很大程度上决定检索质量。但 SID 构建、冲突处理、解码与训练这几个环节彼此依赖且是离散的，无法用梯度做端到端优化，长期停留在手工设计。论文的做法是把这些环节当作可执行程序，交给 LLM 驱动的进化式程序搜索去改写，作者称这是该方法首次用于生成式检索。

低成本反馈怎么来

搜索过程需要反复评估候选方案，直接训练 1B 目标生成器代价过高。作者改用本地部署的开源 31B 模型执行变异，避免依赖闭源 API；同时训练一个 1M 参数的代理解码器，用它的表现作为快速反馈信号。在 NQ320K 的 21 个 SID 程序上，代理与目标生成器的 Recall@100 排序呈现较强一致性，Spearman ρ=0.90，说明代理排序可作为搜索指引。

三个数据集上的收益

在代理信号引导下，进化得到的方案在固定训练配方下于 NQ320K、MSMARCO300K 和多语言电商数据集上均超过种子 GR。NQ320K 上同时进化 SID 构建与冲突处理，Recall@1 从 55.8% 提升到 59.3%，Recall@100 从 85.8% 提升到 90.6%。

代理可信的边界

组件研究给出了适用范围：代理可靠性取决于被进化的对象。语义索引相关的改进能可靠迁移到真实目标生成器，而针对生成器训练目标或整条流程的改进则不能稳定迁移。作者由此认为，LLM 驱动的进化搜索可作为 GR 设计的实用工具，前提是针对所选搜索空间先验证代理的可靠性。

为什么值得看

生成式检索的 SID 设计长期依赖人工，这篇给出可复用的自动搜索路径，并量化了代理信号何时可信。

API论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Evolving Semantic Indexes for Generative Retrieval

关键事实

  • 框架用本地部署的开源 31B 模型变异可执行 GR 组件，不使用闭源 LLM API[1]

  • 1M 参数代理解码器替代反复训练 1B 目标生成器以提供快速反馈[1]

  • NQ320K 上 21 个 SID 程序的代理与目标 Recall@100 排序相关性为 Spearman ρ=0.90[1]

  • NQ320K 上联合进化 SID 构建与冲突处理，Recall@1 由 55.8% 升至 59.3%，Recall@100 由 85.8% 升至 90.6%[1]

  • 改进在语义索引上可稳定迁移，在生成器训练目标与完整流程上则不能[1]

相关 · 论文

研究者提出用「逆向博弈论」约束AI智能体行为

11月3日 周二·AI 58

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

11月3日 周二·AI 72

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

Pixel-UMI：从传感器化人类演示学习全身操作策略

11月3日 周二·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论