论文提出条件状态空间探索框架，缓解多轮 RL 智能体动作循环
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对多轮长时程环境中 LLM 智能体动作选择低效、反复执行无效动作并陷入循环的问题，作者指出这类行为常违反环境前置条件，反映出智能体内部状态表征与环境动态不匹配。论文提出条件状态空间探索框架，在完成任务与内在信息寻求之间取得平衡，并引入一项内在奖励：当某动作产生的观测与先前状态记忆重复时予以惩罚。该设计不依赖通用信息论度量，目的是减少冗余行为、扩大状态空间覆盖。实验显示该方法改善了多轮环境下的策略学习，减少无效动作与重复循环。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题定位
论文聚焦多轮、长时程环境下的 LLM 智能体强化学习。作者认为现有方法在动作选择上效率不高，智能体容易固着于置信度高但无助于任务推进的行为，表现为反复执行无效动作或进入动作循环，导致任务难以完成。作者进一步把这类现象归因于两点：一是这些动作频繁违反环境前置条件，说明智能体对内部状态的表征与环境本身的动态之间存在错位；二是高置信度的重复动作形成周期性行为，对目标推进几乎没有贡献。
方法设计
作者主张用更贴近任务目标、更有产出的探索来加深智能体对环境动态的理解，思路受内在好奇心驱动探索启发，提出条件状态空间探索框架，在完成任务与内在信息寻求之间做平衡。具体做法是设计一项内在奖励：当某个动作带来的观测与先前状态记忆中的内容重复时，就对该动作施加惩罚。作者强调这一设计不依赖通用的信息论度量，好处在于压缩冗余行为的同时推动智能体覆盖更多状态空间。
实验结果
论文报告了较强的实验结果，称该方法在多轮环境中显著改善策略学习，减少无效动作与重复循环。材料未给出具体基准名称、对比对象与量化提升幅度，因此方法在何种任务分布、何种模型规模下有效，仍需查阅原文的实验部分确认。
为什么值得看
多轮智能体训练中的动作循环与无效探索是常见痛点，该文给出不依赖信息论度量的可操作奖励设计。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。