论文研究软件保障中多智能体扩展与验证器反馈的可靠性
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载五组实验的构成
这项研究围绕一个具体问题展开：在确定性工具已经给出证据的前提下，再叠加更多专用语言模型上下文，是否还能提升软件保障效果。作者用五组实验来回答，分别涉及人工编写的 Java 告警对照、OWASP Benchmark 评测、Defects4J 测试生成、SV-COMP 断言判定，以及刻意构造的误导性证据包。被评测的系统以 Qwen2.5-Coder-7B-Instruct 为主，另用 1.5B 模型做敏感性分析，累计完成 13,638 次模型请求。论文附有 4 幅图和 5 张表，归类在软件工程与人工智能两个方向。
上下文加倍的代价
在八条彼此相关的开发告警上，把上下文数量从 1 提到 50，token 消耗扩大到 49 倍，但不安全放行的改善并没有出现。也就是说，堆叠更多模型上下文并没有换来更少的漏判。OWASP 的 160 个用例上，不同模型配置在放行与未解决之间此消彼长；其中十上下文的那一组只评估了 96 个用例，覆盖范围本身就不完整。这两组结果指向同一件事：上下文规模不是越多越好，评测覆盖也会随配置变化而缩水。
验证器反馈的两面
SV-COMP 的 32 个任务上，直接引入验证器原始反馈后，模型平均正确判定从 12.7 升到 22.0，但错误判定同时从 1 个升到 7 个。作为对照，JBMC 加 JVM 的验证基线给出 26 个正确判定和 6 个未解决结果。正确数上升与错误数上升同时发生，说明反馈带来的增益并不纯粹，如何解读反馈、如何聚合判定，仍是未解决的问题。作者据此认为，在这些测试设置下应当采用确定性证据准入，而不是让模型自行消化反馈。
证据包与测试生成
两组各 120 个证据包的实验中，模型会拒斥适用反例中的 70-100%，而针对构造方式的范围检查能把每一个证据包都正确分类。Defects4J 的三个缺陷上没有发现目标缺陷，其中一个缺陷是测试适配器本身不支持。作者把这些结果定位为描述性结论，既支持在受测范围内采用确定性证据准入，也暴露出判定聚合、反馈解读以及现有评测覆盖的局限。对读者而言，这意味着在工具证据已具备时，增加模型上下文未必划算，而结构化范围检查在识别误导性证据上表现更稳。
为什么值得看
用具体数据说明堆叠模型上下文未必提升软件保障效果，对做智能体与验证器设计的人有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。