论文提出内核管理共享内存实现系统级个性化

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一项研究提出内核管理共享内存机制,由系统内核而非单个代理管理记忆检索与隐私。在 AIOS 平台上的实验显示,该机制在 GPT-4o 等三个模型上的个性化评分显著优于未管理的外部内存后端。与全量上下文拼接相比,该方案在保持性能的同时,将端到端延迟降低了 15% 至 61%,并减少了推理成本。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

内核接管记忆读写

这套方案把记忆的写入与取用拆成两件事:专门化的智能体只负责把学到的内容整理成带标签的结构化记忆写进去,而检索哪些记忆、如何做隐私把关、怎样把内容注入提示词,全部交给智能体系统的内核统一决定,单个智能体不再自行处置。作者在 AIOS 上完成了实现,并把这一设计与另外三种做法放在一起比较。评测覆盖三个助手模型,分别是 GPT-4o、Llama-3.1:8B 与 Qwen-2.5:7B,累计进行 1,800 次试验。这样做的出发点在于,多智能体环境里某个智能体掌握的有用上下文,往往无法被其他智能体使用,而把管理权上收到内核,正是为了让这些上下文在系统层面流动起来。

与外部记忆后端对比

第一组对照对象是未经管理的 Mem0 外部记忆后端,两者使用完全相同的底层存储,差别只在于检索与注入由谁掌控。结果显示,由内核管理检索与注入后,个性化得分在 5 分制上提升 2.4 至 4.0 分,其中 GPT-4o 上的档案使用率从 1.05 升到 4.69。作者说明,这一组里的每一次比较都达到 p < 10^-18 的显著性水平。与常规的检索增强式注入相比,提升幅度同样明显,并且在三个模型上都保持一致。也就是说,在存储条件不变的前提下,改变记忆的调度方式本身就能带来可测量的收益。

短提示换取低延迟

第二组对照对象是把全部上下文不加筛选地拼接进提示词。作者把这种做法视为可用上下文的上限,而非回答质量的上限。与之相比,内核管理的注入在其中两个模型上取得了统计意义上的持平,在第三个模型上出现幅度较小、且与模型相关的落后,但使用的提示词明显更短。端到端延迟在三个模型上都有下降,每次调用消耗的 token 数量以及推理开销也相应减少。作者由此认为,把记忆管理集中到智能体系统内核,而不是留给各个智能体自行处理检索与隐私,可以用更小的代价拿到无约束上下文所带来的大部分个性化收益。

为什么值得看

为多智能体系统的记忆共享与个性化提供了低成本、高性能的系统级解决方案。

GPTLlamaQwen论文

信源1 家

  1. [1]arXiv cs.AI一手信源Kernel-Managed Shared Memory for System-Wide Personalization

关键事实

  • 在 AIOS 平台对 GPT-4o、Llama-3.1:8B 和 Qwen-2.5:7B 进行了 1800 次试验评估。[1]

  • 相比未管理的外部内存后端,内核管理机制将个性化评分提升了 2.4-4.0 分(5 分制)。[1]

  • 相比全量上下文拼接,端到端延迟降低 15%-61%,且大幅减少提示词长度。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。