小米直播强化学习训练，探索多维度扩展
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载训练过程对外直播
小米把新模型的强化学习训练过程放到了公开页面上，训练开销、已跑步数、奖励曲线走势以及哪个节点的显卡出现故障，都能被外部实时查看。此前常见的开放做法集中在权重、训练代码和训练数据，把训练进行中的状态直接摊开则不多见。从Pro模型开始训练算起，36小时内两款模型合计花费超过108万美元，折算下来平均每小时约3万美元；页面上的花费随时间跳动，一分钟对应的人民币支出在四千元以上。这些数字并非均匀产生，而是随训练阶段波动。对围观者而言，能看到的是一套正在运转的训练系统，而不是训练结束后的结果通报。
两款模型的当前进度
MiMo-V2.6的Flash和Pro启动训练仅一天多，仍处在早期阶段，但强化学习带来的能力变化已经能在指标上看出。Pro的dynsam/avg@n从第1步的约0.565升到0.614，Flash则从约0.514升到0.603。在最新公开的DeepSWE v1.1离线评测中，Pro和Flash分别拿到62.24和60.77。Flash起点更低，追近速度更快，Pro暂时只保持小幅领先；由于Pro完成一个Step更慢，它的最新评分尚未出现在页面上。材料同时给出DeepSeek-Flash v1.1的对应数值为74.2%，可作为横向参照。
三个方向扩展强化学习
小米把强化学习的扩展拆成三条线。第一条是训练计算量：每个训练Step大约处理20亿Token，配置为1568个Prompt、每个Prompt生成16条Rollout，一轮就可能产出超过2.5万条轨迹；Agent任务的一条轨迹往往包含数十轮思考、工具调用与环境反馈，因此单Step的Token数可达数十亿级别。系统采用完全异步执行，生成、执行、评分与训练不再严格排队，不同任务可同时处于不同阶段。第二条是环境与执行框架，代码、通用任务、视觉、Chat等类型可混在同一次RL Run中训练，并运行在不同Harness里，直播页面的Batch Composition栏展示的正是每个Step的经验来源。第三条是评分算力，复杂Agent任务难以只靠最终成败给出奖励，判断做得好不好本身开始消耗更多计算。
信用分配与读者视角
在评分之外，材料还点出一个更细的问题：信用分配。假设一个Agent为完成任务连续走了40步，从搜索资料、打开网页、阅读信息到编写代码、运行测试、发现错误再修改，最终成功；如果系统只回一句成功、Reward=1，模型无法分辨哪些动作真正推动了结果、哪些步骤多余、哪次修改扭转了局面。小米提到Agentic In-group Credit Assignment，具体算法尚未公布，但结合同一Prompt生成16条Rollout的方式，其目标可以理解为借助同组多条轨迹及其结果，得到比最终成败更细的强化学习信号。对关注训练细节的读者来说，公开页面提供的是可对照的过程数据，而非结论。
为什么值得看
首次公开大规模 Agent RL 训练细节，展示强化学习 Scaling 的具体路径。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。