ProductWebBench 提出网站连续性评测，13 个模型 8737 次…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两项义务的区分
论文把前端编码智能体的评测拆成两个问题：请求的目标是否建成，以及站点其余部分是否仍然可用。后者被命名为网站连续性。现有做法通常只回答第一个问题，而真实工程改动同时承担第二项义务。ProductWebBench 的设计目标就是让这两项在同一套运行里分别计分，而不是用任务完成率笼统代替。评测对象是活的前端仓库，任务直接落在既有代码之上，而非从零生成页面。
任务构造与检查机制
基准由 320 个 Change 任务和 80 个长周期 Build 任务组成。每个任务在评测前冻结仓库快照、分阶段需求、浏览器证据和确定性检查；只有参考实现能通过全部检查、且看似合理但错误的实现无法通过时，该任务才会被纳入。运行过程中，模拟用户按阶段逐个释放需求，此前已通过的检查在后续阶段保持生效，因此早期达成的状态一旦被破坏就会被捕捉。由于同样的检查也会在未改动的仓库上运行，每次回归都能追溯到具体来源，而不是事后贴上的标签。
实测中的分离现象
13 个模型合计 8737 次运行显示，任务完成与连续性并不同步。在通过全部需求检查的 Change 运行里，28.2% 仍在连续性检查上失败，具体表现包括空白路由、横向溢出和控制台报错；另有 10.8% 把此前已经通过的浏览器状态推回失败。在同时具备两种读数的 586 次运行中，18.3% 被判定破坏了已验证状态。交互是另一处盲区：静态 DOM 已经通过的运行中，29.5% 在交互环节失败。这些数字说明，仅以目标是否建成打分，会系统性高估智能体的实际可用程度。
评测口径的意义
ProductWebBench 主张把补丁放回它实际落入的运行系统中评分，而不是孤立地看目标本身。这一口径对使用前端智能体的团队有直接参考价值：改动是否引入路由空白、布局溢出或控制台错误，是否让原本可用的交互路径失效，都可以在合入前被检查出来。论文共 35 页，含附录，归类于软件工程与人工智能两个方向。
为什么值得看
前端智能体的评测长期只看目标是否建成，这份基准把「没弄坏别处」变成可量化指标，并给出回归的具体来源。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。