注册

论文提出 semCER：按错误严重度加权的 OCR 评测指标

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇投稿 ACL Rolling Review 的论文提出 semCER，用于替代 OCR 与视觉语言模型常用的字符错误率（CER）。CER 把拼写笔误和写错人名计为同等错误，semCER 保留 CER 的对齐方式与分母，但由 LLM 评判器为每次字素编辑赋予严重度，且不做分词。归一化 CER 保留整段转写的分数，semCER 则把该分数拆解为具名编辑。作者在英语、越南语和中文中验证，评分与读者逐条打分一致，并把读者认为最严重的编辑排在排序列表前列。在 CER 与 semCER 判断不一致的样本对上，英语和中文读者更常支持 semCER，越南语中两者持平。跨 16 种语言，评判器对西班牙语中错误的变音符号或声调几乎不计分，而在泰卢固语中接近错一个字母的严重度。作者公开了 6100 万条已评判编辑、汇总的读者评分以及蒸馏后的评分器。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

CER 的缺陷与 semCER 思路

字符错误率（CER）是 OCR 和视觉语言模型评测中的标准指标，但它对不同类型的错误一视同仁：一个拼写笔误与一个写错的人名被计为同样的代价。这篇论文提出 semCER，试图在保留 CER 原有对齐方式和分母的前提下改变计分方式。具体做法是引入一个 LLM 评判器，为每一次字素编辑赋予一个严重度分值，并且整个过程不做分词处理。与直接给出整段转写分数的归一化 CER 不同，semCER 会把整段分数拆解成一条条具名的编辑，使评测结果可以定位到具体是哪些改动拉低了分数。

与读者判断的对照结果

作者用读者评分来检验新指标是否贴合人的感受。在英语、越南语和中文三种语言中，semCER 给出的分数与读者逐条编辑的评分保持一致，并且能把读者认为最严重的那些编辑排到排序列表的前列。在 CER 与 semCER 判断出现分歧的样本对上，英语和中文的读者更常站在 semCER 一边，越南语中读者对两者的支持程度相当。这说明在部分场景下，按严重度加权的计分比传统 CER 更接近人的判断，但这一优势并非在所有语言中都同样明显。

跨语言差异与开源内容

论文还考察了 16 种语言中评判器对同类错误的计分差异。以错误的变音符号或声调符号为例，评判器在西班牙语中几乎不为此扣分，而在泰卢固语中，这类错误的严重度接近错一个字母。在可以统计真实单词的场景下，通用视觉语言模型写错一个字母的表现远高于随机水平，而经典流水线的表现则接近随机。作者随论文公开了三项内容：6100 万条已评判编辑、汇总的读者评分，以及蒸馏后的评分器，供后续研究复现和使用。

为什么值得看

OCR 与 VLM 评测长期用 CER 一刀切，该工作给出可复现的严重度加权替代方案并开源数据与评分器。

蒸馏对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Equal CER, Unequal Damage: Severity-Weighted Character Error Rate for OCR

关键事实

  • 论文提出 semCER，保留 CER 的对齐与分母，由 LLM 评判器为每次字素编辑赋予严重度，不做分词[1]

  • 归一化 CER 保留整段转写分数，semCER 将该分数拆解为具名编辑[1]

  • 在 CER 与 semCER 不一致的样本对上，英语和中文读者更常支持 semCER，越南语中两者持平[1]

  • 跨 16 种语言，评判器对西班牙语中错误的变音符号或声调几乎不计分，在泰卢固语中接近错一个字母的严重度[1]

  • 作者公开 6100 万条已评判编辑、汇总的读者评分以及蒸馏后的评分器[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论