论文提出LLM覆盖率收敛的独立数据完整性校验方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载覆盖率读数不交给模型
论文关注的问题是：LLM智能体可以编写定向测试来收敛功能覆盖率，但覆盖率只能说明某个状态被到达，不能说明到达过程中的数据是否正确。作者称这一点在验证领域早已为人所知，并不主张其新颖性。他们描述的小型覆盖率收敛智能体把这一原则落到LLM循环里：覆盖率从仿真自身导出的cocotb-coverage YAML报告中读取，而不是采信模型自己的说法；数据完整性则由独立于模型的记分板来检查。这样做的目的是让模型生成的测试结果有外部依据，而不是依赖模型自述。作者同时说明，记分板监视器目前尚未挂接到LLM生成的测试上，因此这些测试的数据完整性还没有被独立校验，仅报告了对单个FIFO测试的一次人工检查，属于初步结果。
三个设计上的收敛结果
实验在三种架构上互不相同的RTL设计上进行：异步FIFO、UART发送器和AHB2APB桥。使用同一个与设计无关的智能体，在8次迭代预算内，每次有记录的运行都把覆盖率提升到100%，起点分别是91.7%、88.9%和67.4%。此外，挂在FIFO基础测试平台上的反应式记分板监视器还发现了作者自己激励代码中的一个跨时钟域缺陷。作者没有给出与其它方法的对比，也没有做消融实验，因此这些数字反映的是该智能体在设定预算内的表现，而非相对于某个基线的增益。
作者自陈的证据边界
论文明确列出这组证据的弱点：只涉及三个设计，没有基线，没有消融，而且记录的运行来自多个智能体检查点。这意味着结果的可复现性和归因强度都有限。作者也指出，记分板监视器尚未接入LLM生成的测试，所以这些测试的数据完整性并未被独立检查，只有一次针对单个FIFO测试的人工检查作为初步证据。对于关注LLM辅助硬件验证的读者，这篇工作的价值在于把覆盖率读取与数据校验从模型手中分离的做法，以及作者对自身证据边界的说明，而不是一个可直接套用的成熟方案。
为什么值得看
把覆盖率读数与数据校验从LLM手中剥离，是评估LLM写测试可信度的关键思路，硬件验证从业者可关注其做法与局限。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。