TrackMem 提出按说话人图记忆,金融长对话准确率超基线

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对金融对话中数字被修订、立场不重申即改变、规则只说一次却约束后续提问等特点,TrackMem 采用按说话人构建的图记忆,追踪数字的历次变化,按实体与分析视角区分不同看法,并按时间顺序保留每位说话人的动作。作者同时构建 FinLoCoMo 基准,包含 15 段长周期投资对话、765 个问题,分为沿用 LoCoMo 类别的部分和针对四种失败模式的部分。在两种读取器下,TrackMem 在两个划分上均优于现有记忆系统;失败模式划分上宏平均准确率为 73.9%,最强基线为 69.4%,涉及修订数字的问题上为 86.5% 对 73.4%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

金融对话为何难住记忆系统

论文指出,现有 LLM 智能体记忆系统多在社交对话上评测,那类对话里事实不断累积且很少变化,记住内容基本等同于找到某句话出现在哪一轮。金融对话不满足这一前提:数字会被修订,立场会在不再重申的情况下改变,某条规则只说明一次却约束后续提问,同一家公司还会在多个分析视角下被讨论。因此,按与问题相似度检索段落、或按最近优先检索的做法,会返回已被取代的数值,漏掉与问题没有字面重合的规则,也无法还原分散在多次会话中的立场。

TrackMem 的记忆结构

作者给出的 TrackMem 是一种按说话人组织的图记忆。它记录数字的历次取值及其变化过程,而不是只保留最新或最相似的一条;把不同实体与不同分析视角下的看法分开存放,避免同一公司的多种判断互相混淆;同时按时间顺序保留每位说话人做过的动作,使跨会话的立场变化可以被追溯。这一结构针对的正是相似度检索和最近优先检索在金融场景中失效的几种情形。

FinLoCoMo 基准与评测结果

为验证效果,作者构建了 FinLoCoMo,包含 15 段长周期投资对话、共 765 个问题,划分为两个部分:一部分沿用 LoCoMo 的类别,另一部分专门针对四种失败模式设计。在两种读取器配置下,TrackMem 在两个划分上都超过了现有记忆系统。失败模式划分上,其宏平均准确率为 73.9%,最强基线为 69.4%;提升最明显的是涉及修订数字的问题,为 86.5% 对 73.4%。论文共 22 页,正文 6 页,含 4 张图。

为什么值得看

金融场景里事实会变、规则不重复,现有相似度或最近优先的记忆检索会返回过期值,这里给出了可复用的评测与记忆结构。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源TrackMem: Tracking Evolving Beliefs in Long-Horizon Financial Dialogue

关键事实

  • TrackMem 是按说话人构建的图记忆,追踪数字历史、按实体与视角分离看法、按时间保留说话人动作[1]

  • FinLoCoMo 含 15 段长周期投资对话、765 个问题,分 LoCoMo 类别与四种失败模式两个划分[1]

  • 失败模式划分上 TrackMem 宏平均准确率 73.9%,最强基线 69.4%[1]

  • 涉及修订数字的问题上 TrackMem 为 86.5%,基线为 73.4%[1]

  • 论文 22 页,正文 6 页,含 4 张图[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。