ICML框架通过在线强化学习优化长对话记忆
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把记忆从静态档案变成策略
现有面向长期对话的智能体记忆方案大多沿用固定的启发式流程：信息被被动存入档案，存什么、何时取，都按预设规则执行，系统本身不会对记忆的价值作出判断。ICML 的出发点是把这套机制改造成可学习、可交互的记忆策略。它采用多智能体框架，让记忆管理不再是单向的归档动作，而是由参与对话的智能体在交互中不断调整的行为。这一转变的关键在于，记忆的取舍被当作需要优化的决策问题，而不是一次性写死的工程规则，因此系统具备了随使用过程自我演化的空间，而不是停留在初始设定上。
会话合成与在线强化学习
为了让策略在没见过的场景里也能较快适配，ICML 先搭建了一条会话合成流水线，用生成的方式产出专家数据，作为测试阶段快速调整的依据。在此基础上，框架引入在线强化学习：Planner 智能体负责判断哪些信息价值高并加以编码，Trigger 智能体负责在需要时动态取回这些内容，以提升回复质量。两个智能体通过持续的交互反馈共同演化，存储端的判断与取用端的判断在同一条反馈链上互相校正，而不是各自独立运行。
延迟奖励回传存储决策
ICML 在训练信号上做了一个关键安排：用延迟奖励机制把后续轮次才出现的反馈回传到更早的存储决策上。长期对话中，一条信息是否值得记住，往往要等若干轮之后才能看出效果，若只看即时反馈，存储端就难以判断当初的取舍是否正确。把未来反馈回溯到过去的编码动作，使记忆策略与用户的实际期望对齐得更准确。这也解释了论文强调的一点：随着交互不断累积，回复质量能够持续提升，而不是停在某个固定水平。
对比基线与适用边界
实验结果给出的结论是，ICML 明显优于若干强基线，并展现出随交互增多而持续改善回复的能力，这正是静态启发式方案所欠缺的。就适用范围看，该框架面向长期对话场景，其收益依赖交互轮次的积累以及反馈信号的可获得性；会话合成数据用于缓解未见场景下的冷启动问题，但策略的调整仍以在线交互为前提。对关注对话智能体记忆管理的读者而言，这项工作的意义在于提供了一条可替换的思路：记忆不再只是被动堆放的档案，而是可以被训练、被反馈修正的决策组件。论文于 2026 年 9 月 15 日提交至 arXiv，编号 2609.17088。
为什么值得看
提出将被动存档转变为可学习的交互式记忆策略，解决长对话记忆管理难题。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。