arXiv 论文提出 JointCore 与 JointCoreBench,用…

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

这篇论文研究 LLM 智能体的记忆选择问题:按记录相关性或单条影响排序的检索方式,无法在证据冗余或需要多条证据共同成立时找出足够子集。作者提出 JointCoreBench 基准,包含九类交互、六个工作流领域、自然语言决策和精确的充分集 oracle;同时提出 JointCore 基线,按相关性成本排序做整组删除,先测试块再测试单条记录。在 6,912 个精确条件下,JointCore 全部找回最小成本充分集,子集评估从 30.00 次降到 11.13 次,活跃记忆节省 87.8%。在四个 12B-70B 模型家族上,每模型 432 个任务,平均模型查询 10.28 次,对比方法为 16.00 次;最小成本恢复率 50.6%,对比方法为 43.1%。作者说明这只是高效基准基线,未证明可直接部署的记忆压缩。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定

论文关注 LLM 智能体在单次决策中需要多少记忆。常见做法是按记录相关性或单条记录的影响大小排序,再取前若干条。作者指出,当证据存在冗余,或需要多条证据共同成立时,这种排序无法判断哪些记录组合才足够。因此论文把问题定义为“每次决策的记忆充分性”:选出一个很小的子集,使智能体的行为与使用全部记忆时保持一致。为区分搜索误差与模型误差,作者构建了 JointCoreBench,覆盖九类交互家族、六个工作流领域和自然语言决策,并提供精确的充分集 oracle,可直接判断某个子集是否充分。

方法与量化结果

JointCore 是一个按相关性成本排序的整组删除基线:它先成块测试记录,再逐条测试,从而减少需要评估的子集数量。在 6,912 个精确条件下,该方法在全部情形中找回最小成本充分集,子集评估次数从 30.00 降到 11.13,降幅 62.9%,活跃记忆节省 87.8%。作者还在四个 12B-70B 模型家族上测试,每个模型 432 个任务:JointCore 的未加权平均模型查询为 10.28 次,成本感知的单条删除为 16.00 次;最小成本恢复率为 50.6%,对比方法为 43.1%。在确定性的主接口下,两种方法都保持了全记忆行为。

接口依赖与定位

论文进一步用物理删除、UNKNOWN 掩码、PENDING 哨兵、反事实取值和替代标签做测试,发现行为会随接口不同而变化,说明记忆选择的效果与智能体读取记忆的方式有关。作者对结论的边界做了明确限定:JointCore 是一个高效的基准基线,这项研究并未确立可直接部署的记忆压缩方案。对读者而言,这篇论文的价值在于提供了一套可复现的评测条件和一组对比数字,而不是一个可以直接上线的记忆压缩工具。

为什么值得看

关注智能体记忆压缩与检索排序的研究者,可看到新的评测基准和一组可复现的量化对比。

智能体论文

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond Marginal Influence: Interaction-Aware Memory Selection for LLM Agents

关键事实

  • 作者提出 JointCoreBench,含九类交互家族、六个工作流领域、自然语言决策与精确充分集 oracle[1]

  • JointCore 按相关性成本排序做整组删除,先测块再测单条记录[1]

  • 在 6,912 个精确条件下,JointCore 全部找回最小成本充分集,子集评估从 30.00 降到 11.13,活跃记忆节省 87.8%[1]

  • 在四个 12B-70B 模型家族、每模型 432 个任务上,平均模型查询 10.28 次,对比方法为 16.00 次;最小成本恢复率 50.6%,对比方法为 43.1%[1]

  • 作者称 JointCore 是高效基准基线,研究未确立可直接部署的记忆压缩[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。