论文追踪代码修复代理的路径依赖失败
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载研究要解决的问题
代码修复代理失败时,最终测试只能说明补丁是错的,却无法指出是哪一步早期判断导致了错误,也无法说明哪项软件义务未被满足。论文把这种失败称为路径依赖失败,并提出 Poison Valleys 方法,试图在从上游错误认知到代码机制再到失败形态之间建立可测量的联系。研究使用两个合成 Python 案例:PersistQueue 为磁盘支持的队列加入原子批量认领,Dijkstra 为最短路径搜索加入源敏感过滤。作者先定义看似合理但实际错误的软件机制,再将其放入模型的假设、实现计划或两者之中,从而观察错误认知所处位置对最终代码的影响。
实验设计与测量
实验共发出 1,844 次模型请求,覆盖上述两个案例。评估方式结合 Oracle 与针对性诊断坐标,用于判断生成代码是否违反特定软件义务。作者在匹配实验组合后比较了错误认知位于假设与位于计划两种情形:从假设移到计划,PersistQueue 的失败率增加 32.2%,Dijkstra 增加 28.9%。这一对比说明,错误认知在代理流程中的位置本身就会改变失败概率,而不仅是错误内容本身在起作用。论文还报告,不同错误认知会形成不同且依赖模型的义务违反模式,不过其中若干模式可能收敛到相同的外部行为。
产出与发表情况
论文附带代码、数据与演示,作者为 Veljko Skarich,全文 22 页,提交于 2026 年 10 月 15 日,arXiv 编号为 2610.21514,属于 cs.SE 与 cs.AI 分类。该工作被 Interpreting Agent Behavior(IAB)接收,这是 NeurIPS 2026 的一个研讨会,主题围绕以人为中心解读代理、人类与交互。对从事代码代理评测与调试的研究者而言,其价值在于提供了一套把上游错误认知与下游失败形态对应起来的测量框架,而不仅是报告一个失败率数字。
为什么值得看
揭示错误认知在代理流程中的位置如何影响代码修复失败率,为调试与评测代理提供可复用的诊断方法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
