Trail of Bits 指出 1Password 报告误导并发布验证工具
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载26%这个数字怎么来的
1Password 在 8 月 6 日发布的报告给出的核心数字是：模型只在 26% 的情况下产出干净修复。Trail of Bits 复核其代码与数据后认为，这个比例并不能代表日常修补工作的真实水平，原因集中在样本与实验设置上。报告挑选的六个漏洞本身修复难度较高，各漏洞的干净修复率在 3% 到 60% 之间浮动，平均值因此高度依赖入选的是哪几个漏洞。此外，数据中有两组提示词直接要求代理采用错误修法，这两组占到全部数据的 22%，把它们与正常修复尝试混在一起统计，结果就部分取决于研究者安排了多少次错误引导。还有超过三分之一的试验禁止测试，其中一种评测模式不允许代理构建或运行代码，占数据的 36%，而报告把这个模式与允许代理测试并根据结果调整的实验合并计算。模型推理档位也不统一，GPT-5.5 用中等档、Opus 4.8 用高档，都是各自默认值，没有在最高档位下测试，也没有衡量提高档位对结果的影响。
剔除干扰项后的重算
Trail of Bits 用报告随研究一并公开的补丁与测试记录重新做了统计，只保留代理能够运行代码、且没有被指示采用错误修法的试验。在这部分试验里，3,067 个补丁中有 2,634 个通过，这一结果与报告标题呈现的印象差距明显。该团队由此提出，若防守方只按标题字面理解，可能放弃本可借助这类工具修复的漏洞，把仍可处理的缺陷留在系统里。他们强调自己发布这些数据的目的是让防守方修掉更多漏洞，而不是否定补丁自动化本身。需要说明的是，重算所依据的仍是同一批公开数据，样本量与原实验的漏洞选择范围没有变化，因此它说明的是统计口径带来的差异，而非在一个全新样本上得到的独立结论。
两个可复用的代理技能
除数据复核外，Trail of Bits 还发布了两项面向代理的技能。post-patch-validation 用于帮助代理在生成修复后自行验证补丁，把测试环节纳入流程；review-walkthrough 则面向工程师，辅助其审阅代理提交的修复。这两项技能针对的正是原报告中被合并统计的两个薄弱环节：代理缺少测试机会，以及人工复核缺少可循的路径。其适用范围是补丁生成之后的验证与评审阶段，并不改变模型本身生成修复的能力，也不能替代对漏洞是否真正被消除的判断。对使用这类工具的团队而言，可操作的要点是把测试结果与修复一并留存，并在评估工具效果时区分允许测试与禁止测试、正常提示与错误引导这两类试验，避免用单一汇总比例作为选型依据。
为什么值得看
揭示了 AI 安全基准测试中的常见陷阱，并提供了修正后的评估视角与实用工具。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。