研究指RTL修复基准存在两类测量混淆
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准与评测框架构成
作者构建了三部分基础设施。RTLRepairDataset由5,784个（损坏，修复）训练对组成，并做了哈希绑定；RTLRepairBench是459个留出案例，按变异类型分为374个语法变异与85个行为变异；评测框架同时支持仿真与形式等价两种判定方式。这套组合的目标是衡量模型能否在给定规格的前提下修好损坏的RTL，而不是只看补丁是否通过某一类检查。
两类测量混淆
第一类混淆出现在评分方式之间。在某一受评队列里，提供规格说明所带来的表观效应，在仿真评分与形式评分下方向相反。作者用重置感知的重打分方法复核，把仿真与形式之间几乎全部分歧归因于重置与首周期比较的语义差异。第二类混淆出现在基线设置上。作者在274个挖掘出的模型失败案例上，比较“仅规格”与“规格条件”两种条件下的恢复率，六个模型的点估计差值从-8.5到+18.3个百分点不等。这说明常规修复分数未必能单独反映模型是否利用了有故障的RTL。
对评测协议的建议
作者把上述发现转化为一组评测控制项：报告初始化、重置、首周期与未知值语义；披露oracle覆盖情况与未决案例；并纳入仅规格基线作为对照。这些要求指向同一个问题——分数差异可能来自评测语义或基线选择，而非模型能力本身。作者将资源与审计合并定位为两部分产出：一个面向行为修复的基准，以及一套诊断分数来源的协议。
公开材料范围
论文公开了基准、训练集、构建代码、脱敏后的聚合证据以及复现材料。对打算复用该基准或自建RTL修复评测的团队而言，这些材料可用于核对评分语义设置，并按作者列出的控制项检查自身评测流程是否存在同类混淆。
为什么值得看
做RTL修复评测的团队可据此检查自己的打分是否真在衡量模型使用故障代码的能力。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。