注册

UltraText Bench：面向图像生成视觉文本渲染的中英双语基准发布

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇新论文提出 UltraText Bench，用于评估图像生成模型在密集视觉文本场景下的表现。该基准包含 432 条提示词，覆盖 24 个真实场景类别和三个难度等级，中英文各占一半。每条提示词经人工审核，指定四到十二个文本区域的精确字符串，并配有内容、位置与视觉属性的结构化参考。评估使用 Q-Judger 视觉语言模型，从文本保真度、文本清晰度、空间质量和场景质量四个维度打分。在 24 种模型配置中，各维度表现差异明显：Z-Image-Turbo 相比 Z-Image-Base 清晰度提升 3.81 分，但保真度下降 14.76 分；Qwen-Image-2512 的英文综合分从 L1 的 86.50 降至 L3 的 42.86。另有十名参与者参与了自动评分的人工评估。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准要解决什么问题

图像生成模型在渲染短字符串方面已有进步，但密集视觉文本要求模型在多个区域复现长字符串，并保证位置正确、清晰可读。论文认为，随着短字符串渲染能力提升，评测需要转向更苛刻场景下的持续表现。UltraText Bench 因此被设计为面向纯提示词生成密集视觉文本的双语基准，用来检验模型在更复杂任务中的稳定性，而不是只看单条短文本能否写对。

数据集构成与参考标注

该基准共包含 432 条提示词，分布在 24 个真实世界场景类别中，并划分为三个难度等级，英文与中文数量相等。每条提示词都经过人工审核，明确给出四到十二个文本区域应当呈现的精确字符串。除字符串内容外，提示词还配有结构化参考，记录这些文本区域的位置和视觉属性。这种标注方式使评测不仅关注文字本身是否正确，也关注文字在画面中的排布与外观是否符合预期。

评分方式与模型表现

评测采用 Q-Judger 视觉语言模型，将生成图像与完整参考进行比对，输出文本保真度、文本清晰度、空间质量和场景质量四个维度的分数。论文在 24 种模型配置上进行了测试，结果显示不同模型在各维度上各有强弱。Z-Image-Turbo 相比 Z-Image-Base 在清晰度上高出 3.81 分，但在保真度上低了 14.76 分。表现还随任务难度变化，Qwen-Image-2512 的英文综合分从 L1 的 86.50 下降到 L3 的 42.86。此外，十名参与者参与了针对自动评分结果的人工评估。

为什么值得看

图像生成中的长文本渲染一直是难点，该基准给出可量化的多维度评测方法，并揭示不同模型在清晰度与保真度之间的取舍。

Qwen论文

信源1 家

  1. [1]arXiv cs.AI一手信源UltraText Bench: A Comprehensive Bilingual Benchmark for Evaluating Visual Text Rendering in Image Generation

关键事实

  • UltraText Bench 包含 432 条提示词，覆盖 24 个真实场景类别和三个难度等级，中英文各半。[1]

  • 每条提示词指定四到十二个文本区域的精确字符串，并配有内容、位置和视觉属性的结构化参考。[1]

  • 评估使用 Q-Judger 视觉语言模型，报告文本保真度、文本清晰度、空间质量和场景质量四项指标。[1]

  • Z-Image-Turbo 相比 Z-Image-Base 清晰度提升 3.81 分，保真度下降 14.76 分。[1]

  • Qwen-Image-2512 的英文综合分从 L1 的 86.50 降至 L3 的 42.86。[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论