提出Stackelberg Alignment框架实现多LLM协作对齐
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把指令选择变成课程
这项研究关注的是多个语言模型如何通过互相学习对方的回答来共同进步，而这类互动效果取决于训练时用到的指令。已有做法通常对指令做均匀采样，但指令的价值会随模型能力变化而改变：曾经让模型回答质量出现差距的指令，之后可能被答得一样好；而先前较难的指令，反而可能开始提供有用的学习信号。为此作者提出 Stackelberg Alignment，一种受博弈论启发的领导者—跟随者框架，把指令选择转化为自适应的课程安排。其中 EXP3 赌博机充当领导者，在固定的采样预算下把预算分配到各条指令上，并依据一个综合了指令难度与回答可区分性的奖励来更新采样分布。
模型互为对手与裁判
在这个框架里，语言模型扮演跟随者：它们对选中的指令作出回答，彼此评估对方的回答，并通过 DPO 或 GRPO 从由此得到的偏好信号中学习。为了让模型之间的互动可靠且具有竞争性，框架采用 Elo 式的声誉加权同伴评判，以及基于声誉的对手匹配。也就是说，模型给出的评判会按其声誉被加权，而配对时也会参考声誉来安排对手。作者在三个异构模型池和 12 个基准上做了实验，覆盖科学发现、推理、代码、指令跟随与知识等方向。
效果与消融结果
实验显示，Stackelberg Alignment 在三个不同模型池上取得最高的宏平均成绩，相比最强的训练期基线最多高出 7.4%，相比最好的静态推理基线高出 12-25%。分析确认，自适应的领导者会把对抗集中在信息量最大的指令上；消融实验则表明，声誉加权评判与基于声誉的匹配这两项设计，都能提升多模型共同演化的效果。论文于 2026 年 9 月 30 日提交，作者为 Christina Hahn、Shangbin Feng、Dean Light、Swastik Roy、Hila Gonen 与 Yulia Tsvetkov，编号 arXiv:2609.39076，属于 cs.AI 与 cs.LG 方向。
为什么值得看
用博弈论自适应挑选训练指令，显著提升多模型协作进化效果，为模型互学提供新范式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。