研究:LLM 生成的 Java 重构仅 8 个候选满足低风险标准

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一项针对 15 个开源 Java 仓库、150 个生产文件的实证研究,用五种 LLM 配置和单提示、LangGraph 多智能体两种依赖感知生成条件,共发起 1500 次重构尝试,其中 1455 个产出可分析的完整候选。按局部改动、仓库结构指标、调用方影响、行为等价指标和测试证据分类后,1365 个(93.8%)被列为高契约/依赖风险,106 个(7.3%)至少检测到一处下游调用方被破坏,290 个(19.9%)的行为等价指标为假,仅 8 个满足低风险标准。在 65 个有明确针对性测试结果的候选中 60 个通过,其中 50 个此前被判为高风险。705 对配对分析未发现两种生成条件在主风险指标上有统计显著差异。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

研究设计与评测口径

研究选取 15 个开源 Java 仓库中的 150 个生产文件,使用五种 LLM 配置,并设置两种依赖感知生成条件:单提示重构与基于 LangGraph 的多智能体重构。1500 次尝试中有 1455 个产出完整候选进入分析。评测不只看文件内改动,还引入面向仓库的结构指标、检测到的调用方影响、行为等价指标以及可用的测试证据,据此把候选分为低风险、需复核、高契约/依赖风险和无定论四类。这一口径的用意是补上文件局部评测看不到的契约、依赖与调用方假设变化。

风险分布与测试证据

分类结果显示,1365 个候选(93.8%)落入高契约/依赖风险一类,只有 8 个满足低风险标准。106 个(7.3%)至少检测到一处下游调用方被破坏,290 个(19.9%)的行为等价指标为假,即指标声称行为不变但实际不成立。在原因可追溯的子集中,采用更保守的依赖变化阈值后高风险比例下降。测试证据方面,65 个有明确针对性测试结果的候选中有 60 个通过,其中 50 个此前被判为高风险,说明风险分类与测试通过与否并不完全一致。

生成条件与模型配置差异

对 705 个完整配对的分析未发现单提示与多智能体两种生成条件在主风险指标上存在统计显著差异,但不同模型配置在具体被检测到的风险通道上表现不同。作者据此提出,实践者应把 LLM 生成的重构当作需要仓库级分阶段验证的候选,而不是可直接合入的改动;后续研究应校验筛选与抽取的精确度,并加强编译、行为以及多文件协同改动的验证。

为什么值得看

文件级评测会掩盖重构对仓库契约与调用方的破坏,这项研究给出量化证据,说明 LLM 重构需要仓库级分阶段验证。

智能体

信源1 家

  1. [1]arXiv cs.AI一手信源When LLM-Generated Refactorings Ripple: An Empirical Study of Repository Adoption Readiness

关键事实

  • 研究覆盖 15 个开源 Java 仓库的 150 个生产文件,共 1500 次生成尝试,1455 个产出可分析候选。[1]

  • 1365 个候选(93.8%)被归为高契约/依赖风险,仅 8 个满足低风险标准。[1]

  • 106 个候选(7.3%)至少检测到一处下游调用方被破坏,290 个(19.9%)行为等价指标为假。[1]

  • 65 个有明确针对性测试结果的候选中有 60 个通过,其中 50 个此前被判为高风险。[1]

  • 705 对配对分析显示,单提示与 LangGraph 多智能体两种生成条件在主风险指标上无统计显著差异。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。