MiRL：用强化学习针对终端智能体的错误行为做纠正训练

10月27日周二 00:25论文AI 评分 72/100arXiv cs.AI

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 MiRL（Misbehavior-driven RL），把「错误定向学习」用到终端智能体上：先统计策略在多个环境中反复出现的错误步骤类型，再让强化学习从这些错误发生的步骤开始 rollout，只有通过测试且避开该错误行为才给奖励。在 Qwen3.5-4B 上，八类错误行为占错误步骤的 52.1%；训练后在未见过的前缀上重复这些错误的频率平均下降 43% 到 57%。Terminal-Bench Lite 得分 51.8%，高于 TMax-4B 的 47.4%；Terminal-Bench 2.1 上为 21.3% 对 20.6%，rollout 用量为后者的 35%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

方法：从错误步骤起步训练

论文关注的是终端智能体：它们通过命令 shell 与系统交互，完成以自然语言描述的长周期任务。作者指出，已有的错误定向方法面向单轮任务，而对智能体失败的分析多用于评估和调试，没有被用来训练。MiRL 的做法分两步：先对策略的错误做画像，归纳出跨环境反复出现的「错误行为」类型；再用强化学习训练，rollout 从这些错误行为出现的步骤开始，奖励条件是该次 rollout 既通过测试又没有重犯对应错误。这样训练信号直接对准具体弱点，而不是笼统地奖励最终成败。

量化结果与对比

在 Qwen3.5-4B 上，作者统计出八类错误行为合计占错误步骤的 52.1%，说明少数几类反复出现的错误覆盖了相当比例的失败。用 MiRL 训练后，策略在未见过的前缀上重复这些被测错误行为的频率平均降低 43% 到 57%。在 Terminal-Bench Lite 上，MiRL 得分 51.8%，高于 TMax-4B 的 47.4%；在 Terminal-Bench 2.1 上两者接近，分别为 21.3% 和 20.6%，而 MiRL 的 rollout 用量只有 TMax-4B 的 35%。作者据此认为，错误定向学习可以迁移到贴近真实的长周期终端任务上。

适用范围与材料边界

论文为 20 页、14 图、5 表，提交于 2026 年 10 月 26 日，归类为 cs.LG，并交叉列入 cs.AI 与 cs.CL。材料只覆盖方法描述与上述基准数字，未给出训练数据规模、错误行为的具体分类清单，也未说明在其他模型或终端环境上的表现，因此这些方面暂无法判断。对做智能体训练的人而言，可关注的是「先定位反复出现的错误、再从错误处起步做 RL」这一流程，以及它在 rollout 效率上的表现。

为什么值得看

给出一种可复用的思路：先定位智能体反复犯的错，再只针对这些错误做 RL 训练，并用更少 rollout 取得更好成绩。

Qwen智能体强化学习论文

信源1 家

[1]arXiv cs.AI一手信源MiRL: Error-Targeted Reinforcement Learning for Correcting Terminal Agent Misbehaviors

关键事实

MiRL 先分析策略的错误，找出在多个环境中反复出现的错误步骤类型，再据此训练。[1]
训练时从错误行为发生的步骤开始 rollout，只有通过测试且未重现该错误才给予奖励。[1]
在 Qwen3.5-4B 上，八类错误行为占全部错误步骤的 52.1%。[1]
训练后在未见前缀上重复被测错误行为的频率平均下降 43% 到 57%。[1]
Terminal-Bench Lite 上 MiRL 为 51.8%，TMax-4B 为 47.4%；Terminal-Bench 2.1 上为 21.3% 对 20.6%，rollout 用量为后者的 35%。[1]

MiRL：用强化学习针对终端智能体的错误行为做纠正训练

全文梳理

方法：从错误步骤起步训练

量化结果与对比

适用范围与材料边界

为什么值得看

信源1 家

关键事实

相关 · 论文

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测