论文提出 Jev-DLC:从带类型反馈做决策级持续学习

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文研究如何让模型在部署后根据用户对决策的接受或撤销来持续调整。方法把每次纠正同时当作两样东西:一是关于某个反复出现的动作身份的线索,二是偏好选项与被否决选项之间的有向关系;这些信号被保存在冻结打分器之上的有界通道里,合并后影响下一次决策。该方法不保留原始交互记录,不增加打分器调用,也不在运行时对语言模型做反向传播。作者同时提出按时间顺序评测的 TCPA-Bench,只在纠正影响后续决策时才算数。在 TCPA-Repeat 上总体用户宏平均准确率为 44.83%,比 Recent-4 历史回放高 2.43 个百分点;在已有至少两次反馈后达到 56.07%,比该深度下最强对比高 7.54 个百分点。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题设定与反馈形式

论文关注的是偏好往往在部署之后才显现:用户接受某个决策,或者撤销它并改选另一个。Jev 式带类型接口把这种反馈显式化,既标出被选中的动作,在撤销时还标出它替换掉的那个决策。作者把这类后果如何跨请求留存下来,定义为 Decision-Level Continual Learning from Typed Feedback,即 Jev-DLC。与依赖原始对话历史回放的做法不同,这里的学习对象是决策层面的纠正信号,而不是逐字记录。

方法如何保存纠正信号

Jev-DLC 把每次纠正看成两重证据:一是关于某个会反复出现的动作身份的信息,二是偏好选项与被否决选项之间的有向关系。这两类信号被存进冻结打分器之上的互补有界通道,再把通道分数合并起来影响下一次决策。按论文描述,该做法不保留原始交互历史,不增加额外的打分器调用,运行时也不对语言模型做反向传播,因此纠正被压缩成紧凑的因果状态,而不是不断增长的上下文。

评测设计与结果

作者构建了 TCPA-Bench,这是一个按时间顺序排列的测试套件,只有纠正对后续决策产生实际影响时才给予计入,避免把记住历史本身当作收益。在 TCPA-Repeat 上,Jev-DLC 的总体用户宏平均准确率为 44.83%,比 Recent-4 历史回放高 2.43 个百分点;在已经历至少两次先前反馈事件的条件下,准确率升到 56.07%,比该深度下已报告的最强对比高 7.54 个百分点。论文据此说明显式带类型纠正可以转化为用于持续个性化的紧凑因果状态。

为什么值得看

关注个性化与持续学习的人可看:不存原始历史、不加推理开销,用带类型纠正做因果状态。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Jev-DLC: Decision-Level Continual Learning from Typed Feedback

关键事实

  • 论文标题为 Jev-DLC: Decision-Level Continual Learning from Typed Feedback,提交于 2026 年 10 月 22 日[1]

  • 方法在冻结打分器之上用互补的有界通道保存信号,不保留原始交互历史,不增加打分器调用,也不做运行时语言模型反向传播[1]

  • 作者提出 TCPA-Bench,按时间顺序评测,只有纠正对后续决策产生影响才计入[1]

  • 在 TCPA-Repeat 上总体用户宏平均准确率为 44.83%,比 Recent-4 历史回放高 2.43 个百分点[1]

  • 在至少两次先前反馈事件后达到 56.07%,比该深度下最强对比高 7.54 个百分点[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。