FuzzInsight 提出 Equalized Sampling,种子队列利…

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对 DNN 覆盖率引导模糊测试中种子利用低效与覆盖引导开销大的问题,FuzzInsight 给出面向配置的分析与选择指南。其 Equalized Sampling 采用基于约束的策略,把种子队列平均利用率提高到 77%,比既有方法高 13 个百分点。作者在 MNIST、SVHN、GTSRB、CIFAR-100 四个数据集上评测 84 种模糊测试配置,发现 LSCD、LSC、MDSC 等非结构性准则在计算开销明显更低的情况下取得与结构性准则相当的覆盖效果,其中 LSCD 运行时间略占优势。用生成的边界样本重训练,可使泛化鲁棒性平均提升最多 77 个百分点,且原测试分布上的表现不下降。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

两个效率瓶颈

论文指出,为 DNN 评测收集并标注多样化测试数据成本高、耗时长,因此出现了从有限测试数据中生成缺陷暴露型边界样本的覆盖率引导模糊测试。但这类方法的效果高度依赖配置选择,尤其是覆盖准则与种子选择策略。作者把问题归结为两个瓶颈:种子利用低效,以及覆盖引导本身的开销。分析显示,现有种子选择策略会反复优先使用一小部分输入,大量已收集种子从未被探索。为此提出的 Equalized Sampling 是一种基于约束的策略,把平均种子队列利用率提高到 77%,比此前方法高出 13 个百分点。

84 种配置的横向评测

作者在 MNIST、SVHN、GTSRB、CIFAR-100 四个基准数据集上评测了 84 种模糊测试配置,比较结构性准则与多种非结构性准则在覆盖效果和计算成本上的差异。结果显示,LSCD、LSC、MDSC 这三类非结构性准则能达到与结构性准则及其他非结构性准则相当的覆盖结果,同时所需计算明显更少。这些准则还促使被测 DNN 进行更广泛的行为探索,从而减少同时监控多个覆盖指标的必要;其中 LSCD 在运行时间上具有幅度不大但稳定的优势。

重训练带来的鲁棒性收益

论文最后考察生成样本的下游用途:用模糊测试产生的边界样本对模型重训练,可使泛化鲁棒性平均提升最多 77 个百分点,同时原始测试分布上的性能没有下降。作者将上述发现汇总为一份实用蓝图,用于挑选在效率、行为探索与模型加固之间取得平衡的模糊测试配置。该工作以配置为导向,重点不在提出单一新工具,而在给出可复用的准则与种子策略选择依据。

为什么值得看

想降低 DNN 模糊测试算力开销、提高种子利用率并加固模型鲁棒性的团队,可直接参考其配置选择结论。

数据集

信源1 家

  1. [1]arXiv cs.AI一手信源FuzzInsight: Navigating the Efficiency-Effectiveness Trade-off in Coverage-Guided DNN Fuzzing

关键事实

  • Equalized Sampling 将平均种子队列利用率提升至 77%,较此前方法高 13 个百分点[1]

  • 研究在 MNIST、SVHN、GTSRB、CIFAR-100 四个数据集上评测了 84 种模糊测试配置[1]

  • LSCD、LSC、MDSC 等非结构性准则以明显更少的计算达到与结构性准则相当的覆盖效果[1]

  • 用生成的边界样本重训练可使泛化鲁棒性平均提升最多 77 个百分点,且不降低原测试分布上的性能[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。