提出预测基座模型代码智能体潜力的新方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从基础模型预判后训练价值
面对一轮成本高昂的智能体后训练，如何事先判断哪个基础检查点值得投入，是这项研究要处理的问题。端到端的 pass@K 检验的是成功行为是否已经出现在基础模型的分布里，但作者认为它并不适合智能体编码场景：不少基础检查点连完成任务所需的规范工具调用都无法稳定生成，测试自然无从谈起。单轮或短程任务把多步交互压缩成固定提示与单个补丁，绕开了工具调用失败，却也回避了真正关心的能力——在仓库不断变化时，跨多个使用工具的步骤维持状态一致。为填补这一空缺，研究把已成功完成的后训练智能体轨迹当作基础模型潜力的前瞻信号来使用。
重放轨迹定位决定性步骤
具体做法是重放每一条轨迹，并在每一个改动代码的步骤之后重新运行测试，从而找出决定性步骤：第一个让累计补丁把仓库从失败翻转为通过的步骤，它证明在既有上下文下，记录下来的那个动作确实解决了任务。围绕智能体轨迹的覆盖原则，作者在这一步上构建了三种筛选方式，它们都不需要基础检查点从冷启动状态去驱动整套测试框架。第一种是决定性动作的 BPB（每字节比特数），用来衡量该检查点把概率质量放在这个被认证动作上的程度；第二种是补丁选择题，考察检查点在被同一验证器拒绝的备选动作之间如何取舍；第三种是前缀条件下的 pass@K，评估功能正确生成所获得的支持，并对测试接受的任何续写给予认可。
十组模型上的排序一致性
在十组公开的基础模型与后训练模型配对上，这三种筛选方式给出的队列排序，与后训练后的 SWE-bench Verified pass@1 结果高度一致。这意味着筛选信号并不依赖基础模型先跑通完整流程，而是在已知正确动作的前提下，观察模型是否把概率质量、选择倾向和生成支持指向该动作及其可接受的变体。对需要决定是否为一个检查点启动昂贵后训练的一方来说，这类信号提供了一种在训练之前就能比较候选对象的途径，其适用范围限定在已有成功轨迹可供重放、且每一步都能被测试验证的编码智能体任务上。
为什么值得看
提供低成本筛选基座模型的方法，避免昂贵的盲目后训练，直接指导代码智能体基座选型。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。