论文追踪代码修复代理的路径依赖失败

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇投稿至 NeurIPS 2026 研讨会的论文提出「Poison Valleys」方法,用于诊断代码修复代理的路径依赖失败。研究在 PersistQueue 与 Dijkstra 两个合成 Python 案例上发出 1,844 次模型请求,人为植入看似合理但错误的软件机制,分别放入模型的假设、实现计划或两者之中,再用 Oracle 与针对性诊断坐标评估生成代码。结果显示,把错误认知从假设移到计划后,PersistQueue 失败率上升 32.2%,Dijkstra 上升 28.9%。不同错误认知会产生不同且依赖模型的义务违反模式,但若干模式可能收敛到相同行为。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

研究要解决的问题

代码修复代理失败时,最终测试只能说明补丁是错的,却无法指出是哪一步早期判断导致了错误,也无法说明哪项软件义务未被满足。论文把这种失败称为路径依赖失败,并提出 Poison Valleys 方法,试图在从上游错误认知到代码机制再到失败形态之间建立可测量的联系。研究使用两个合成 Python 案例:PersistQueue 为磁盘支持的队列加入原子批量认领,Dijkstra 为最短路径搜索加入源敏感过滤。作者先定义看似合理但实际错误的软件机制,再将其放入模型的假设、实现计划或两者之中,从而观察错误认知所处位置对最终代码的影响。

实验设计与测量

实验共发出 1,844 次模型请求,覆盖上述两个案例。评估方式结合 Oracle 与针对性诊断坐标,用于判断生成代码是否违反特定软件义务。作者在匹配实验组合后比较了错误认知位于假设与位于计划两种情形:从假设移到计划,PersistQueue 的失败率增加 32.2%,Dijkstra 增加 28.9%。这一对比说明,错误认知在代理流程中的位置本身就会改变失败概率,而不仅是错误内容本身在起作用。论文还报告,不同错误认知会形成不同且依赖模型的义务违反模式,不过其中若干模式可能收敛到相同的外部行为。

产出与发表情况

论文附带代码、数据与演示,作者为 Veljko Skarich,全文 22 页,提交于 2026 年 10 月 15 日,arXiv 编号为 2610.21514,属于 cs.SE 与 cs.AI 分类。该工作被 Interpreting Agent Behavior(IAB)接收,这是 NeurIPS 2026 的一个研讨会,主题围绕以人为中心解读代理、人类与交互。对从事代码代理评测与调试的研究者而言,其价值在于提供了一套把上游错误认知与下游失败形态对应起来的测量框架,而不仅是报告一个失败率数字。

为什么值得看

揭示错误认知在代理流程中的位置如何影响代码修复失败率,为调试与评测代理提供可复用的诊断方法。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Poison Valleys: Diagnosing Path-Dependent Failure in LLM Code Repair

关键事实

  • 论文在 PersistQueue 和 Dijkstra 两个合成 Python 案例上共发出 1,844 次模型请求。[1]

  • 把错误认知从假设移到实现计划后,PersistQueue 失败率上升 32.2%,Dijkstra 上升 28.9%。[1]

  • 不同错误认知产生不同且依赖模型的义务违反模式,但若干模式可能收敛到相同行为。[1]

  • 论文被 Interpreting Agent Behavior 研讨会接收,该研讨会为 NeurIPS 2026 的 workshop。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。