RQA 方法：不共享奖励也能让多智能体学会合作
论文AI 评分 66/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Reciprocal Q-Augmentation（RQA），用隐变量对手模型估计自身动作对他人的影响，并据此增强 Q 函数，使智能体仅凭自己的 Q 函数就能同时学到合作与背叛两类策略。在迭代囚徒困境、迭代旅行者困境、迭代猎鹿博弈和 CleanUp-Lite 四个环境中，全部采用 RQA 合作策略的智能体比完全合作算法学得更快、合作水平更高；单个 RQA 智能体在合作与背叛策略间切换，还能让标准强化学习智能体转向合作。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定
论文关注一般和博弈：这类场景既非完全合作也非完全对抗，智能体可能欺骗或利用对方。要获得较高社会福利需要持续合作，而一次背叛就可能把双方推向福利次优的纳什均衡。作者指出，此前方法常假设能获取其他智能体的奖励或内部状态，这一假设在现实中往往不成立，并且等于把额外的合作信息预先注入设定，削弱了结论的说服力。RQA 的目标是在不依赖这类信息的前提下，让智能体自行学会维持合作。
方法思路
RQA 引入一个隐变量对手模型，用来估计自己的动作会如何影响其他智能体，并用这些估计增强 Q 函数。这样，智能体无需访问他人的奖励信号，仅凭自身的 Q 函数就能同时训练出合作与背叛两套策略。作者强调，这一设计让合作行为来自智能体自身的学习过程，而非外部共享的奖励结构；同时保留背叛策略，使智能体在必要时能够切换。
实验结果
作者在迭代囚徒困境、迭代旅行者困境、迭代猎鹿博弈和 CleanUp-Lite 四个环境中评估 RQA。结果显示，当所有智能体都执行 RQA 的合作策略时，它们学习合作的速度快于完全合作算法，最终达到的合作水平也更高。另一个结果是，单个 RQA 智能体若在合作与背叛策略之间适当切换，可以促使原本会走向背叛的标准强化学习智能体转向合作。作者据此认为，实现 RQA 的算法在表现上优于共享奖励的完全合作方法，并能在其他算法难以取得较高社会福利时促成合作。
为什么值得看
多智能体合作通常依赖共享奖励或对手内部状态，RQA 给出了不依赖这些前提的替代路径，对博弈与多智能体研究有参考价值。
智能体强化学习论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。