arXiv 发布 AmbiHTMLBench:用 HTML 重建富视觉文档的评…

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 AmbiHTMLBench,用于评测模型把真实文档还原为可执行 HTML 的能力,要求同时保留内容、组织结构和视觉外观。基准含 1,115 个页面并附结构化标注,采用两套评测协议:客观协议对齐真值与预测的渲染块,衡量表格保真度、页面级文本错误和二维布局一致性;另一套以参考为锚,用与人类偏好对齐的 LLM 评判衡量感知保真度。在十个多模态系统上,最佳客观分为 0.8092,但主观胜出者并非同一系统。作者还微调了一个小参数专家模型,发现针对任务的适配在该任务上表现良好。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

为什么用 HTML 而非 Markdo…

论文指出,传统文档解析系统多以 Markdown 作为输出表示,这种方式对线性文本有效,但难以完整保留细粒度的空间结构、表格几何、视觉层级与渲染语义。作者主张,对于异构且对版式敏感的文档,HTML 更有优势,因为其表示可以保持可编辑、可检查、可复用。AmbiHTMLBench 正是为系统研究这一设定而构建:给定一份真实文档,模型需要还原出可执行的 HTML,并同时保住内容、组织方式与视觉外观。

两套评测协议

基准的评测分两条路径。客观协议把真值与预测的渲染块对齐,测量三项内容:表格保真度、页面级文本错误,以及二维布局一致性。另一条是参考锚定的协议,通过让 LLM 评判与人类偏好对齐,来衡量感知层面的保真度。作者用这两套口径评测了十个主要的多模态系统,结果显示最佳客观得分为 0.8092,而主观评判的胜出者并不是同一个系统,说明自动分解指标与人类感知保真度反映的是互补的属性,单看一项不足以判断系统优劣。

小模型的任务适配

除基准本身外,作者还微调了一个参数规模较小的专家模型,发现针对该任务做特定适配后,模型在文档到 HTML 的重建任务上能取得不错的表现。这一结果被用来支撑 AmbiHTMLBench 的定位:它不只是一个排名榜单,更是用于诊断和改进文档解析系统的测试平台,帮助构建更智能、逻辑更清晰的解析方案。

为什么值得看

文档解析正从 Markdown 转向 HTML 表示,该基准给出可量化的评测口径,并揭示客观指标与人类感知并不一致。

多模态微调对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源AmbiHTMLBench: A Benchmark for HTML-based Visually Rich Document parsing

关键事实

  • 基准包含 1,115 个页面,并带有结构化标注[1]

  • 评测分客观协议与参考锚定的 LLM 评判协议两条路径[1]

  • 十个多模态系统中最佳客观分为 0.8092,主观胜出者与之不同[1]

  • 作者微调小参数专家模型,验证任务特定适配在该任务上有效[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。