多目标强化学习新方法：路由集成与轨迹归因
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇被 NeurIPS 2026 接收的论文提出用路由集成策略学习处理多目标强化学习中的目标冲突问题。作者引入目标冲突系数，并据此推导在线场景下的近最优遗憾界，量化目标错位对学习效率的影响。算法维护一小组基策略，把轨迹动态分配给潜在奖励最高的策略。作者还把轨迹选择视为缓解冲突的另一途径，设计了核代理轨迹归因算法，用于估计各轨迹反馈信号对其他轨迹策略学习的影响，该核函数能刻画轨迹间的协同与拮抗等非线性交互。在 Meta-World 与 MO-Gymnasium 的在线环境中，路由集成比基线平均提升 4.3%；核代理归因与留一分析的相关性比现有基线高 50%；用于轨迹选择时，基于核的归因比基线归因方法的奖励高 27%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题设定与冲突度量
多目标强化学习要学出能平衡相互竞争目标的策略，材料举的例子包括安全与对齐中的有用性与诚实性、机器人中的速度与能耗。难点在于最优策略会随目标权重组合剧烈变化，而变化幅度取决于目标之间的冲突程度，因此按每种偏好分别学策略的样本效率很低。作者为此引入目标冲突系数，并基于该度量推导在线场景下的近最优遗憾界，把目标错位对学习效率的影响变成可计算的量。这一步为后续算法设计提供了统一的衡量尺度。
路由集成与轨迹归因
算法层面的第一个设计是路由集成策略学习：不针对每种权重单独训练，而是维护一小组基策略，运行时把轨迹动态分配给潜在奖励最高的那个策略，以较小的策略集合覆盖多种偏好组合。第二个设计把轨迹选择也当作缓解目标冲突的手段，提出核代理轨迹归因算法，估计一组轨迹的反馈信号如何影响其他轨迹上的策略学习；所用核函数能表达轨迹之间的协同与拮抗这类非线性交互，而不只是线性相关。
实验数字与适用范围
实验覆盖 Meta-World 与 MO-Gymnasium 的在线环境及多种基准。路由集成相对基线在平均性能上提升 4.3%；核代理归因与留一分析的相关性比现有基线高 50%，说明它更接近逐一剔除轨迹的真实影响；把该归因用于轨迹选择时，奖励比基线归因方法高 27%。论文标注的应用方向包括后训练、推理模型与机器人控制，属于方法层面的通用贡献，材料未给出具体模型或产品的落地信息。
为什么值得看
多目标权衡是后训练、对齐与机器人控制的共性难题，该工作给出可量化的冲突度量与两种可落地算法，并附具体提升幅度。
Meta强化学习量化论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。