arXiv 论文:内容审核按词汇判定伤害,跨语言保护不均
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载词汇判定带来的偏差
论文的核心论点是:自动审核系统在判定伤害时依赖词汇和表层形式,而非一条信息实际做了什么,过度标记与保护不足由此同源。材料给出的现象包括:分类器把非裔美国人英语标为冒犯的频率最高可达其他英语的两倍;知名变装皇后的账号可能比白人至上主义者的账号得到更高的毒性评分;在英语中成立的安全行为,在低资源语言中会失效。作者把这些证据整理为七类失效模式,并提出可检验假设:请求保密、索要付款、试图孤立某人等有害行为,比表达它们的词语更容易跨语言迁移。
评测协议与关键结果
作者提出一套评测协议,把服务最好与最差语言社区之间的差距作为核心结果呈现,并指出在服务均等的前提下,朴素差距会被放大,常用的 bootstrap 区间也不可靠。协议应用于五个开放系统、十一种语言,覆盖范围从关键词词表到两个现有多语言防护模型。结果显示:没有任何系统在区分有害功能与无害形式时达到母语者准确率,55 个系统-语言组合中有 51 个不达标;能力更强的系统在九种语言中提高了区分度,但阿拉伯语和罗马化印地语仍接近随机水平,最好与最差语言之间的差距随能力上升而扩大;有一个系统在同一语言上既过度标记又保护不足;当只报告误报时,系统读得最差的语言反而可能显得受到最公平对待。
对多语言安全实践的提示
论文附有 18 页正文、2 幅图,并公开代码、模拟与逐例输出。对从事多语言内容安全与评测的读者,材料给出的可操作信息是:单一语言的审核表现不能外推到其他语言;只统计误报会掩盖漏保护;能力升级不必然缩小语言间差距,在部分语言上可能扩大。作者主张把最好与最差服务语言之间的差距作为评测的头条指标,并提醒常用区间估计方法在该场景下不可靠。
为什么值得看
它给出可复现的跨语言审核评测协议,并指出能力越强、语言间服务差距可能越大,对做多语言安全与评测的团队有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
