PrefMind：双智能体在线偏好学习框架，让生成模型理解人类偏好
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
arXiv 上一篇论文提出 PrefMind，把多模态偏好对齐从「奖励打分」改为让回复模型自身具备偏好理解能力。框架包含两个可训练智能体：回复生成器与偏好评论者。给定一对候选回复，两者分析并讨论哪一个更符合人类偏好，人类标签用于监督其判断与纠正。当生成器与修正后的评论者都能正确识别人类偏好回复时，生成器产出改进答案，评论者将其与原始偏好回复比较并给出生成奖励。两个智能体依据当前策略采样的交互联合更新。在三种模型规模上的实验显示，独立偏好判断与下游回复生成均有提升。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从打分到理解偏好
多模态偏好对齐通常沿用基于分数的 RLHF 流程：先训练奖励模型学习人类偏好，再用它对在线策略产生的回复打分，并据此优化回复模型的生成。这种做法把偏好监督压缩成一个标量信号，模型可能学会产出分数更高的答案，却很少被显式训练去理解人类偏好背后的理由。论文由此提出一个问题：如果把偏好理解变成回复模型自身的内在能力，生成质量能否随之改善。PrefMind 正是为回答这一问题而设计。
双智能体的协作机制
PrefMind 是一个在线双智能体强化学习框架，两个智能体都可训练：一个是回复生成器，一个是偏好评论者。面对一对候选回复，两者会分析并讨论哪一个更贴合人类偏好，人类标签则用于监督它们的判断与纠正过程。当生成器和经过修正的评论者都能正确指出人类偏好的那条回复时，生成器会给出一个改进后的答案，评论者再把它与原本被偏好的回复做比较，从而产生生成奖励。两个智能体都从各自当前策略采样出的交互中联合更新，形成判断、纠正与生成相互驱动的闭环。
实验与适用范围
论文在三种模型规模上做了实验，结果显示独立偏好判断能力和下游回复生成质量都有提升。这意味着让模型显式地判断与纠正偏好，不只是辅助任务，还能反过来改善它写出的回复。论文共 32 页、含 4 张图，提交时间为 2026 年 10 月 16 日，编号 arXiv:2610.23256。材料未披露具体模型名称、数据规模与提升幅度，也未说明代码或权重是否开放。
为什么值得看
把偏好理解内化为模型能力而非外部打分，为多模态对齐提供了一条可复用的训练路径。
多模态智能体强化学习对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。