注册

论文提出解释性世界模型EWM，改进强化学习延迟奖励分配

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿于arXiv的论文提出解释性世界模型（EWM），用于强化学习中的信用分配。该方法借助前沿语言模型生成解释，识别较早事件与最终结果之间的关联，并通过保守的层级算子递归重分配奖励，同时保持未折扣的回合回报不变。作者依据三种解释理论设计了三个变体，在Crafter、WordCraft、KuaiRand以及一个工业级生成式推荐系统上进行了评测。结果显示，在奖励延迟最严重时，EWM相对PPO和LaRe的提升最大；在KuaiRand上离线优于SFT和LaRe，在线优于A2C；在工业推荐系统的离线评测中，召回率明显提升，行为代理指标也有所增加。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

延迟奖励带来的信用分配难题

论文关注的是生成式推荐等场景中的强化学习问题：一次决策带来的结果，可能要经过数百甚至数千次交互之后才显现。常规强化学习按时间接近程度来传播奖励，而不是按与结果的实际相关程度来分配，这会让距离远但真正重要的动作获得的信号被削弱，进而造成样本效率下降。作者把这一现象作为出发点，提出需要一种能显式判断「哪些更早的事件可能促成了最终结果」的机制，而不是仅凭时间远近做归因。

EWM如何用解释重分配奖励

作者提出的解释性世界模型（EWM）是一个归因框架，它用解释来找出可能对已实现结果有贡献的早期事件。具体实现上，EWM以一个前沿语言模型作为实例化基础，把模型给出的解释当作学习信号，再通过一个保守的层级算子递归地重新分配奖励，同时保证未折扣的回合回报保持不变。为了探究什么样的解释才算有用，作者受Halpern的实际因果、Lombrozo的解释简洁性以及Deutsch的难以变易解释启发，落地了三个互补的变体，用来比较不同解释标准下的效果。

多基准与工业场景的评测结果

评测覆盖了多个环境：两个受控的长时程强化学习基准Crafter和WordCraft、一个公开的序列推荐基准KuaiRand，以及一个工业规模的生成式推荐系统。在Crafter和WordCraft上，EWM明显超过PPO和LaRe，且奖励延迟越严重，优势越大。在KuaiRand上，EWM离线表现优于SFT和LaRe，在线表现优于A2C。在对工业生成式推荐系统的离线评测中，EWM使召回率明显提升，并提高了若干行为代理指标。作者据此认为，解释可以为从延迟结果中学习提供结构化且可复用的信用信号。

为什么值得看

延迟奖励下的信用分配是强化学习落地推荐等长周期场景的核心难题，该工作给出了可复用的解释驱动方案与多基准验证。

强化学习论文

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

关键事实

  • 论文提出解释性世界模型（EWM），用解释识别较早事件与最终结果之间的关联，并以此作为学习信号。[1]

  • EWM使用保守的层级算子递归重分配奖励，同时保持未折扣的回合回报不变。[1]

  • 作者依据Halpern的实际因果、Lombrozo的解释简洁性和Deutsch的难以变易解释，设计了三个互补变体。[1]

  • 在Crafter和WordCraft上，EWM明显优于PPO和LaRe，奖励延迟最严重时增益最大。[1]

  • 在KuaiRand上，EWM离线优于SFT和LaRe，在线优于A2C；在工业生成式推荐系统的离线评测中，召回率明显提升。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论