CodeMidas仅凭源码构建RL环境,MiMo-V2.5多基准提升超11%

论文AI 评分 82/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

为扩充智能体编码RL训练任务,CodeMidas仅将源码作输入,经探索、构建测试及验证过滤,把已有代码库功能转为可执行环境。由此产出涵盖23种语言与15个领域的5545个任务。基于此用GRPO训练MiMo-V2.5,在五项基准上全面进步:DeepSWE升11.7%,ProgramBench升17%,Terminal-Bench v2.1升8.5%。消融实验证实增高质量任务可提性能,轨迹分析指RL训练使智能体更重代码库探索与自检。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

只拿源码当输入

CodeMidas 是一条由智能体驱动的流水线,它把已有代码库中已经实现的功能转成可执行的强化学习环境。与依赖 issue、commit 等开发过程副产物的做法不同,这条流水线把源代码当作唯一与任务相关的输入,因此可提取的任务范围不再受限于项目是否留下完整的协作记录。在环境构建的每个阶段,它都分配了智能体算力:先由智能体探查已实现的功能,据此写出行为规格;再围绕原始代码的实际执行来构造测试;最后通过执行检查和反复的解法采样,对候选任务做验证与筛选。这样一条链路把原本散落在代码里的功能点,变成带有可靠校验手段的训练样本。

五千余任务从哪来

最终得到的数据集包含 5,545 个训练任务,来自 3,185 个开源代码库,覆盖 23 种编程语言和 15 个技术领域。这些数字对应的是流水线逐层筛选后的结果:行为规格来自对已实现功能的探查,测试的正确性以原始代码的运行结果为参照,候选任务还要经过执行检查和多轮解法采样才能留下。任务数量之所以能铺开到这样的规模,关键在于入口只要求源码本身,而不要求项目附带可用的 issue 或提交历史,这使得大量缺少完整开发记录的代码库也能进入候选池。

三类基准上的变化

用 GRPO 在这些任务上训练 MiMo-V2.5,五个不同基准的表现都出现提升。其中 issue 修复方向的 DeepSWE 提升 11.7%,整程序构建方向的 ProgramBench 提升 17%,终端操作方向的 Terminal-Bench v2.1 提升 8.5%。消融实验显示,高质量训练任务的数量增加会带来性能改善,说明收益与任务规模相关。轨迹分析则显示,经强化学习训练的智能体表现出更好的行为,例如更多地探查代码库,以及采用更多样的自我验证方式。这些结果把源代码定位为构建强化学习环境时可扩展的基础。

适用范围与限制

这套方法适用的前提是代码库中存在已经实现的功能,任务由这些功能反推而来,因此它面向的是从现有代码中提取行为规格与测试的场景,而非从零设计新功能。验证环节依赖执行检查与重复的解法采样,任务能否保留取决于这两道关卡的结果。材料给出的评测集中在 issue 修复、整程序构建和终端工作三类基准上,训练对象为 MiMo-V2.5,其他模型与任务类型上的表现未在材料中说明。对关注智能体训练数据构建的读者而言,这意味着源码本身可以成为环境来源,但任务质量仍由执行验证的严格程度决定。

为什么值得看

突破依赖提交记录提取任务的局限,证明源码可作规模化构建编码RL环境的基础,显著提升智能体多场景表现。

智能体

信源1 家

  1. [1]arXiv cs.AI一手信源CodeMidas: Scaling Agentic Coding RL Environments from Code Itself

关键事实

  • CodeMidas仅用源码作输入,将代码库已实现功能转为可执行RL环境[1]

  • 产出5545个训练任务,源自3185个代码库,跨23种语言与15个技术领域[1]

  • 用GRPO训练MiMo-V2.5,DeepSWE提升11.7%,ProgramBench提升17%,Terminal-Bench v2.1提升8.5%[1]

  • 轨迹分析表明RL训练后的智能体增加了代码库探索并展现更多样自验证[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。