SolBehave 基准发布：评估大模型生成智能合约的行为正确性
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队提出 SolBehave，用于大规模评估模型生成的 Solidity 合约是否正确，而非仅看能否编译。该基准覆盖 250 个真实可复现的以太坊合约，采用差分模糊测试、历史交易回放，以及基于动态条件响应（DCR）图枚举合法函数调用序列的合成交易回放。对七个开源权重模型进行一轮自动修复后评估：编译成功率在 26.4% 至 92.7% 之间，但通过编译的函数体中仅 31.4% 与原合约等价；六个模型在历史回放下有 13% 至 31% 的合约出现分歧，DCR 引导回放下为 13% 至 44%，仅 Gemma-4-31B 两项均低于 3%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载为什么编译不够
论文指出，大模型越来越多地生成 Solidity 智能合约，而合约一旦部署就无法修补，单个隐藏缺陷会永久存在并可被利用。现有评估大多只检查生成的代码能否编译，这无法反映合约在真实调用下的行为是否与原合约一致。SolBehave 的出发点是把评估从零散的手写单元测试，推进到可规模化、可复现的行为正确性检验，覆盖 250 个真实且可复现的以太坊合约。
三类行为保真测试
基准采用三种互补的测试方式。差分模糊测试把生成的每个函数与原始函数在自动生成的输入上逐一对比；历史交易回放把整个生成合约放到它在链上实际收到过的交易上运行；DCR 引导的合成交易回放是核心贡献，它借助动态条件响应图枚举合法的函数调用序列，包括链上从未出现过的调用顺序，从而检验合约在预期使用方式下的表现。
七个模型的实际表现
研究对七个当前开源权重模型进行一轮自动修复后评估。编译成功率跨度很大，从 26.4% 到 92.7%。但编译只是必要条件：把所有模型和样本汇总后，通过编译的生成函数体中只有 31.4% 与原函数等价。合约层面的分歧是常态而非例外，六个模型在历史回放下有 13% 至 31% 的生成合约与原合约不一致，在 DCR 引导回放下这一比例为 13% 至 44%，只有 Gemma-4-31B 在两项测试中都保持在 3% 以下。
为什么值得看
编译通过不等于合约正确，该基准给出可复现的量化证据，说明生成代码在真实链上行为上普遍偏离原合约。
大模型
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。