论文提出反例验证框架 Falcon，用于智能体编码安全
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇投稿至 arXiv 的论文提出名为 Falcon 的反例验证框架，用于智能体编码场景下的安全验证。该框架把攻击探索与行为验证拆成两步，用被测程序的执行轨迹把两者连接起来，从而避免优化器只改善安全信号给出的判定、却未真正消除漏洞。在测试时修复中，Falcon 在留出的功能安全指标上优于其他安全信号，同时保持或改善功能；作为强化学习奖励时，它在留出的功能安全上超过静态分析与学习型奖励，即使各策略都成功优化了各自的训练奖励。与代理奖励结合还能进一步提升留出表现。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载安全信号为何失真
论文指出，随着编码模型与智能体框架能力增强，可靠的安全验证成为核心瓶颈。要提升安全代码生成，所需信号在优化过程中报告的进展必须与程序实际行为保持一致；否则优化器可能只让信号的判定变好，而底层漏洞并未消除。现有基于模型的做法要求模型从源码推断程序行为，或为对抗性测试指定正确结果，这对安全信号本身的推理能力提出很高要求。
拆分攻击与验证
Falcon 的做法是把攻击探索和行为验证分成两个环节，再用被测程序的执行轨迹把二者衔接起来。这样安全判定不再依赖模型对源码行为的猜测，而是落在实际执行结果上。论文在测试时修复场景中评估该框架，结果显示其在留出的功能安全指标上相比其他安全信号有明显更强的增益，同时功能表现得以保持或提升。
作为强化学习奖励
论文还把 Falcon 用作强化学习奖励，与静态分析奖励和学习型奖励对比。结果显示，即使所有策略都成功优化了各自的训练奖励，Falcon 在留出的功能安全上仍更优。将 Falcon 与任一代理奖励结合，留出表现还能进一步提高，论文据此认为执行层面的反馈可以缓解奖励过度优化，同时保留现有安全信号提供的有用引导。
为什么值得看
安全验证正成为编码智能体的瓶颈，该工作用执行轨迹约束安全信号，缓解奖励被过度优化的问题。
智能体强化学习安全论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。