研究者用Stackelberg博弈寻找偏好模型易错比较
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题：评估器错误会被利用
论文关注语言模型对齐流程中的一个薄弱环节：对齐通常借助并不完美的评估器来完成，而这些评估器的判断误差可能在优化过程中被策略利用。作者的做法是训练策略主动搜索那些评估器可能把真实偏好判断反过来的比较对，把这些比较对作为追加监督的候选样本。这一思路把「找错」变成训练目标的一部分，而不是被动等待评估器暴露问题。由于策略训练阶段拿不到人类偏好，作者用一组偏好模型之间的分歧程度来近似预测误差，即分歧越大越可能意味着该处判断不可靠。
方法：零和Stackelberg博弈
作者把上述搜索形式化为两个对立策略之间的零和Stackelberg博弈：Leader试图让分歧最小化，Follower则试图让分歧最大化。针对一类有限的上下文Stackelberg博弈，论文证明了均衡的存在性，并在引入正则化后进一步给出均衡的唯一性以及闭式刻画。算法层面，作者提出Stackelberg Mirror Descent-Ascent（SMIDA），这是一种两时间尺度的方法，在表格设定下具备线性最后迭代收敛性；同时作者还开发了对应的神经策略梯度版本，使方法可扩展到使用神经网络的策略上。
实验：分歧作为误差代理
实验部分使用合成预言机来检验「分歧可作为预测误差的有信息代理」这一假设。结果显示，在留出数据上，经过训练的策略表现优于参考策略，并且提高了超过分歧阈值、同时使预言机偏好发生反转的比较对所占比例。也就是说，训练确实找到了更多评估器容易出错的比较场景。论文同时标注了cs.AI与cs.GT两个方向，说明其定位横跨人工智能与博弈论。
为什么值得看
对齐依赖的偏好模型本身可能被优化过程钻空子，这项工作给出了主动找错并补监督的思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。