TaoD2C-Bench发布：评估MLLM工业级UI代码生成能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从视觉识别到约束推理
多模态大语言模型面临的一项关键挑战，是从单纯的视觉识别转向具备约束意识的跨模态推理。这意味着模型需要把图像中的视觉线索与其他模态的信息结合起来，在特定领域的规则下理解各元素之间的关系。工业设计转代码（D2C）场景把这一挑战体现得尤为明显：它要把用户界面设计稿转换为代码，要求模型将设计图像与杂乱无章的图层元数据对应起来，推断组件与布局的实现要求，并在目标代码库的约束下把这些要求落到代码里。然而在真实的工业环境中，这类能力一直没有得到充分评估。为填补这一空白，研究者提出了 TaoD2C-Bench，用于衡量多模态大语言模型生成满足工业应用实现要求的界面代码的能力。
数据集构成与标注方式
TaoD2C 数据集收录了来自 17 个商业平台的 2,861 份生产设计稿，配套 97,652 条专家标注。这些标注分为四个类别：组件、分组、对齐和位置。标注的作用不只是记录设计长什么样，而是把必须满足的约束与允许自由选择的实现方式区分开来。也就是说，同一份设计稿在转成代码时，哪些地方模型不能随意改动、哪些地方可以自行决定写法，数据集都给出了明确界定。这种区分让评测不再停留在界面是否还原得像，而是进一步考察代码是否真正符合实现层面的要求。数据集与基准的发布，意在支撑工业界面代码生成方向的后续研究。
三项任务与八模型评测
TaoD2C-Bench 设定了三项任务：端到端的界面代码生成、需求推断，以及需求实现。研究者用这套基准评测了八个多模态大语言模型，结果显示，在生成满足实现要求的界面代码方面，各模型都存在明显差距；同时在需求推断和需求实现这两个环节上，模型之间呈现出不同的性能特征。评测还表明，模型具备视觉重建能力，并不必然意味着它能够生成满足上述要求的代码——把界面画得像，和把界面按约束写对，是两回事。对关注设计转代码落地的读者来说，这意味着评估模型时不能只看还原度，还要看它在约束理解与代码实现上的表现。
为什么值得看
揭示了MLLM视觉还原好不等于代码符合工业约束，为设计转代码提供真实评测标准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。