研究:编码智能体在冲突时压倒性沿用仓库既有写法
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载研究要回答的问题
论文关注的是智能体软件演化中的一个基本问题:当多种实现都能满足同一功能需求时,编码智能体究竟依据什么来决定是沿用既有代码,还是遵循新的任务指令。作者指出,既有代码只呈现过去的实现决定,很少解释背后的理由,因此旧决定可能与新任务要求相冲突。为拆开这一过程,研究把影响来源分成三类:智能体自身的默认偏好、仓库中已有的先例、以及任务中给出的显式指令,并在专门构建的仓库里做双向受控实验,随后再到真实开源仓库中验证。
先例压过默认偏好
在规模上,实验覆盖四个编码智能体与六组实现对照,合计 5,625 次试验,验证环节涉及三种编程语言的四个开源仓库。一个关键观察是,这些智能体在默认实现选择上彼此一致;但当仓库先例与这种默认偏好发生冲突时,它们几乎一边倒地跟随先例,360 次试验中有 359 次如此。这说明智能体对「仓库里已经这么写」的信号相当敏感,默认倾向并不是决定结果的主要因素。
先例影响力并不均等
并非所有先例都同等有效。三个起支撑作用的本地文件能带来 96% 的采纳率,而同级的资源文件只有 4%。更值得注意的是,在示例数量固定的前提下,仅改变文件放置位置,就能让采纳率从 0% 变到 100%。这意味着智能体读到的上下文组织方式本身,可能比示例多少更能左右它是否沿用某种写法,对设计仓库结构与提示材料的人有直接参考价值。
写规则优于给示例
当新的任务意图与既有代码冲突时,作者比较了两种引导方式:只提供代码示例,或额外写明优先级规则。结果显示,写明规则的成功率明显更高——两个智能体在两对实现上的联合成功为 59/60,而仅给示例时为 38/60。这一效果在真实开源仓库中同样成立:由 harness 加载的规则把联合成功从 0/120 提升到 117/120。作者由此主张做设计决策的可追溯记录,既保留实现选择,也保留应当指导未来修改的理由与优先级。
为什么值得看
想弄清编码智能体为何「照着旧代码改」而非按新需求改,以及写规则比给示例更管用的量化证据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
