论文提出理由引导的人类奖励建模框架
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于 arXiv 的论文提出理由引导的偏好强化学习框架：除偏好标签外，还引入解释「为何更偏好某行为」的理由标签，使学到的奖励同时反映人类选择及其依据。与仅用偏好的奖励学习相比，该形式为对齐人类的奖励提供额外监督，并提升策略可解释性。学习到的人类奖励在策略优化时与环境奖励结合，让智能体在提升任务表现的同时，表现出更可解释、更符合人类偏好且对偏好更敏感的行为。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法核心：偏好加理由
该工作针对的是任务奖励优化出的策略虽然高效、却可能与人类期望、安全偏好或意图不一致的问题。作者给出的方案是在偏好标签之外再收集理由标签，用这些标签说明某个行为为什么更受偏好。这样，奖励模型不只学到人类选了哪个轨迹，还学到选择背后的依据，从而在监督信号上比只用偏好的做法更丰富。论文将这一形式描述为对学习人类对齐奖励的额外监督，同时指出它有助于提升最终策略的可解释性。
奖励如何进入策略优化
在训练流程上，框架先从轨迹级反馈中学习人类奖励模型，再把学到的人类奖励与环境奖励一起用于策略优化。两者结合的设计意图是兼顾两头：智能体仍能借助环境奖励改善任务表现，同时因为人类奖励的约束而产出更可解释、更贴合人类偏好、对偏好变化更敏感的行为。论文没有在摘要中给出具体任务、基线或量化提升幅度，相关对比只停留在与仅用偏好的奖励学习这一形式的定性比较上。
为什么值得看
把「为什么偏好」纳入奖励学习，是偏好对齐强化学习的一个可复用思路，关注人类反馈对齐的读者可看。
智能体强化学习对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。