RefCraft 基准发布：300 个网页开发任务考验智能体读图能力
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队提出 RefCraft 基准，用于评测智能体把视觉参考融入生成过程的能力，场景选在网页开发。该基准包含 300 个多模态网页开发任务，每个任务由自然语言指令与 1 至 5 张参考网页截图组成；智能体需要自行判断并选用这些参考，完成渲染、视觉检查与迭代修改。评测采用可独立核验的关键点，并结合程序化判分与 VLM 判分。在九个前沿（多模态）大模型上，最强系统总分仅 52.12（满分 100），说明按视觉参考进行智能体生成仍是明显难点。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准要测什么
论文关注的是智能体在真实生产力任务中的一项能力：把视觉参考纳入生成过程。作者选择网页开发作为检验场景，理由是这一场景既贴近实际，又便于评测。作者指出，现有基准大多偏理想化，通常只要求复现视觉目标，或仅凭文本指令生成页面，而忽略了更常见的工作流——开发者手里已有若干参考网页，需要据此做出新页面。RefCraft 正是为填补这一空白而设计。
任务构成与评测方式
RefCraft 由 300 个贴近真实的多模态网页开发任务组成，每个任务把自然语言指令与 1 至 5 张参考网页截图放在一起。智能体不能照搬全部参考，而要自行判断哪些部分该用、哪些不该用，然后完成渲染、对输出做视觉检查，并反复修改。由于产物是开放式页面，评测采用可独立核验的关键点，同时引入程序化判分与 VLM 判分两种互补方式，以减少单一判分口径带来的偏差。
九模型实测结果
作者在九个前沿（多模态）大模型上运行了该基准，表现最好的系统总分也只有 52.12（满分 100）。这一结果说明，在贴近实际的网页开发环境中，按视觉参考进行智能体生成对当前模型仍是相当大的挑战。论文同时给出项目页面链接，并标注了 cs.CL、cs.AI、cs.CV 三个学科分类，提交时间为 2026 年 10 月 19 日。
为什么值得看
网页开发是可直接检验的场景，52.12 分显示当前模型在「照着参考图做页面」上仍有明显缺口，可作为选型与后续改进的基线。
大模型多模态智能体
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。