inkGround 基准发布:评测 VLM 对连笔手写的笔画轨迹还原
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载任务与数据构成
手写本质是笔尖按顺序移动留下的轨迹,但离线图像只保留最终墨迹,因此从图像还原有序笔画点及抬笔、落笔切换成为一项独立任务。以往图像与轨迹配对数据多在受控条件下用数字化手写板采集,书写者覆盖与风格多样性受限。inkGround 改用整页、相机拍摄的手写图像,共 537 张页面,覆盖约 1.87 万词与约 16.3 万笔画,试图把评测场景推向更接近真实拍摄的条件。
参考轨迹如何得到
该基准的参考轨迹并非手写板实录,而是由预训练离线转在线模型生成,再经 OCR 一致性筛选与人工评分者核验后保留。作者明确指出这些参考属于伪标签,只代表一种合理的笔迹路径,因此不能当作唯一正确答案。为弥补这一点,研究同时在 IAM-OnDB 上评测,该数据集提供实际记录的笔迹轨迹,可用于检验在伪标签上得到的结论是否依然成立。
评测方式与指标
任务被表述为文本条件点定位:模型同时接收页面图像和一个目标词,需要先在图中找到该词,再输出该词对应的有序笔画点序列。评分从三个角度展开:轨迹保真度用 DTW 与 Chamfer 距离衡量输出点序列与参考的接近程度;渲染笔画的可读性用 Accurate Rate 与 Correct Rate 统计;此外还比较生成笔迹与参考在风格上的相似度。所有模型使用同一套上下文提示,以减少提示差异带来的干扰。
模型对比结果
评测对象包括 4 个开源模型与 3 个前沿闭源模型。结果显示闭源模型整体占优,其中 Gemini-3.1-Pro 生成的轨迹清晰且接近参考;这一排序在改用 IAM-OnDB 真实记录轨迹后仍然保持,说明结论并非只由伪标签造成。对关注文档理解、手写识别或笔迹生成方向的读者,该基准提供了可复用的任务定义与评分口径,也标出了当前通用视觉语言模型在该任务上的位置。
为什么值得看
首次给出针对连笔手写笔画轨迹还原的 VLM 视觉定位基准,含数据规模、评分口径与开源/闭源对比结果,可判断该任务当前能…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
