MPO：面向长程LLM智能体的多尺度策略优化方法
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿于arXiv的论文提出多尺度策略优化（MPO）。作者观察到，长程LLM智能体以完整助手轮次与环境交互，但生成动作时逐token进行；critic值主要在轮次之间变化，因此优化应以轮次为锚点，并在token之间做更细的信用分配。MPO由多尺度优势估计（MAE）与轮次级重要性采样组成，使信用分配与策略更新在轮次尺度上对齐。在搜索、工具使用与自动化任务上，用4B与30B-A3B模型测试，结果稳定优于强强化学习基线。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在轮次与token的错位
论文关注长程LLM智能体的训练方式：智能体通过完整的助手轮次与环境交互，但每个动作在生成时是逐token产生的。作者观察到一个现象：critic值的变化主要发生在轮次之间，而不是在轮次内部的每个token上。这带来一个错位：信用分配与策略更新如果停留在token粒度，就与价值信号实际变化的尺度不一致。MPO的出发点正是把优化锚定在轮次上，同时在token之间保留更细的信用分配。
方法由两部分组成
MPO包含两个组件。其一是多尺度优势估计（MAE），用于在轮次与token两个尺度上估计优势；其二是轮次级重要性采样，让策略更新的采样校正与轮次尺度对齐。两者配合，使信用分配和策略更新落在同一尺度上，而不是各按各的粒度进行。论文摘要未给出这两部分的具体公式与超参数设置，细节需查阅原文。
实验设置与结果
实验覆盖三类任务：搜索、工具使用与自动化。所用模型规模为4B与30B-A3B。作者报告，在这些任务上MPO相对强强化学习基线取得一致的提升。摘要未披露各任务的具体指标数值、对比基线名称与提升幅度，也未说明训练所用数据规模与算力配置，这些内容需以论文正文为准。
为什么值得看
长程智能体的信用分配是强化学习训练的关键难点，该方法给出了轮次与token两级对齐的具体做法，并附有跨任务实验。
智能体强化学习对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。