ProgramGym 发布:1648 个可验证环境训练长周期编程智能体

论文AI 评分 78/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究者提出 ProgramGym 框架,包含 Program-Env 与 Program-Agent 两部分,用于训练从零构建程序的长周期编程智能体。Program-Env 通过反馈驱动的循环修复运行时沙箱构建与黑盒测试质量,从代码仓库中构造出 1648 个可验证训练环境,覆盖 C、C++、Go 和 Rust 四种语言。Program-Agent 将分析、实现、审查拆分为角色隔离的工作流,并加入修订管理以支持编译检查与失败恢复。在 ProgramBench 上,用这些环境生成的轨迹做微调,使 Qwen3.8-27B 的成绩从 34.87% 提升到 42.84%;Program-Agent 进一步把基础模型与微调模型分别推到 55.71% 和 56.25%,超过部分旗舰模型。作者表示将发布 ProgramGym 以支持后续研究。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决什么问题

现有编程智能体多用于在已有仓库里改缺陷,或按给定需求文档生成仓库;而像软件工程师那样从零搭建程序的任务,缺少可规模化、可验证的训练环境。这类任务要求智能体自己发现需求、自己决定系统如何设计,难度更高。同时,已有智能体工作流也难以支撑长周期开发——即在动手实现之前先探索参考程序。ProgramGym 正是针对这两点提出的框架,由 Program-Env 与 Program-Agent 两部分构成。

环境怎么造出来

Program-Env 的思路是从代码仓库出发构造可验证的训练环境,构造过程是一个反馈驱动的循环:不断修复运行时沙箱的构建问题,同时修复黑盒测试的质量问题。经过这条流水线,最终得到 1648 个训练环境,语言覆盖 C、C++、Go 和 Rust 四种。这些环境的作用是让智能体在训练中必须自行探索需求与设计,而不是拿到现成的需求说明。

智能体工作流设计

Program-Agent 把工作拆成分析、实现、审查三个角色,彼此隔离,避免职责混在一起。在此之上加入修订管理,用于编译检查和失败恢复,使长周期开发过程中出现的问题能够被定位和回退。这一设计与 Program-Env 配合,构成从环境到智能体行为的完整训练方案。

实验结果与开放计划

在 ProgramBench 上的实验显示,Program-Env 与 Program-Agent 都能提升程序复现表现。用构造环境生成的轨迹做微调后,Qwen3.8-27B 的成绩从 34.87% 提高到 42.84%。Program-Agent 进一步把基础模型和 SFT 模型分别推到 55.71% 与 56.25%,两者都超过了一些旗舰模型。作者表示将发布 ProgramGym,以支持从零构建程序的编程智能体的后续研究。

为什么值得看

给出可规模化的可验证训练环境与角色隔离工作流,并附具体提升幅度,对做编程智能体训练的人有直接参考价值。

Qwen智能体微调

信源1 家

  1. [1]arXiv cs.AI一手信源ProgramGym: Scaling Training Environments for Long-Horizon Program Reproduction Agents

关键事实

  • ProgramGym 由 Program-Env 和 Program-Agent 两部分组成,面向长周期程序复现智能体的可扩展训练环境[1]

  • Program-Env 通过反馈驱动循环修复运行时沙箱构建与黑盒测试质量,产出 1648 个训练环境,覆盖 C、C++、Go、Rust[1]

  • Program-Agent 采用分析、实现、审查的角色隔离工作流,并带修订管理以支持编译检查与失败恢复[1]

  • 在 ProgramBench 上,用构造环境生成的轨迹微调使 Qwen3.8-27B 从 34.87% 升至 42.84%[1]

  • Program-Agent 将基础模型与 SFT 模型分别提升至 55.71% 和 56.25%,超过部分旗舰模型[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。