新研究提出真实代码库运行时错误修复基准与安全护栏
论文AI 评分 65/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对大模型生成代码修复运行时错误存在的评估局限与安全隐患，研究构建了HealBench基准，包含18个真实代码库的265个错误及参考执行，支持跨文件上下文与运行时状态修复。同时设计HealGuard护栏，要求修复代码使用可分析的Python子集HealCore编写，结合静态与动态污点分析拦截不安全状态变更。测试表明，最优配置下28.68%的实例通过目标测试，但其中17.4%被HealGuard标记为可能触及受保护操作；在受控测试中，HealGuard检出全部不安全用例，误报率为68.42%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载真实代码库修复基准
以往大模型修复运行时错误的研究仅在小规模竞赛程序上评估，且未解决在活跃进程中执行生成代码的安全隐患。为推进该技术走向实际应用，研究团队构建了HealBench基准。该基准从18个真实代码库中提取了265个运行时错误，每个错误均配有修复后版本的参考执行。此外，该基准提供统一框架，允许大模型代理利用跨文件上下文及实时运行状态来生成修复代码。
安全护栏与语言子集
为应对执行生成代码的安全风险，研究设计了HealGuard护栏机制。该机制要求修复代码必须使用名为HealCore的Python可分析子集编写。在此基础上，HealGuard运用静态与动态污点分析技术，验证由修复代码改变的状态是否会传播至开发者标记的受保护操作中，从而在状态层面拦截潜在的不安全修改。
修复效果与安全评估
研究评估了专用修复方法及三种通用编码代理，结合三种骨干大模型进行测试。结果显示，最佳配置能在38.11%的实例中恢复执行，28.68%通过目标测试，表明现有代理已能处理部分真实代码库崩溃。然而，在通过的执行中，HealGuard标记了17.4%其状态变更可能触及受保护操作。在684个受控案例的安全评估中，HealGuard成功检出所有不安全情况，代价是产生68.42%的误报率。
为什么值得看
为LLM修复真实代码库崩溃提供了首个带安全护栏的评测基准，揭示了当前修复能力上限与安全风险比例。
大模型安全
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。