研究者发布覆盖60种语言的MSafeTemp安全对齐语料

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出基于模板的扩充流程,用于批量生成多语言拒答与良性语料:先从有害提示中抽取安全模板,再翻译并填入符合当地文化的实体,有害与良性两类都填。由此发布 MSafeTemp,覆盖 60 种语言,可用于多语言安全对齐与评测。作者指出,仅用英文评测会误判多语言安全性:部分模型在英文下被拦住的攻击,翻译后就能成功;本地化变体还能暴露翻译本身漏掉的问题。用模板扩充训练数据可提升英语以外的安全表现。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

模板扩充怎么做

论文针对多语言安全对齐数据不足的问题,提出一条可规模化的模板扩充流程。做法是先处理有害提示,从中抽取安全模板,再把这些模板翻译成目标语言,最后往模板的空位里填入符合当地文化的实体,有害与良性两类实体都填。这样同一套模板结构能批量产出大量拒答样本和良性样本,不必为每种语言单独人工编写。作者称这种方式能提高对齐数据的多样性与质量,并带来英语之外安全表现的改善。

语料规模与用途

流程的产出是 MSafeTemp,一个经过验证的语料,覆盖 60 种语言,面向多语言安全对齐训练与评测两类用途。作者表示,发布该语料与配套流程,目的是推动面向代表性不足文化的模型安全研究与开发。语料同时包含拒答与良性两类样本,可用于训练,也可用于评测。

英文评测的盲区

论文用该语料做评测后发现,只用英文衡量多语言安全性会得出错误结论。对若干模型而言,在英文下被拦住的攻击,翻译成其他语言后就能成功;而经过文化本地化改造的变体,还能进一步暴露仅靠翻译无法发现的安全失败。这说明翻译式评测会低估风险,本地化内容需要单独覆盖。

为什么值得看

多语言安全评测长期偏英语,这份语料与流程给出了可复用的扩充方法,并说明英文评测会低估风险。

对齐安全论文

信源1 家

  1. [1]arXiv cs.AI一手信源How I Aligned Your Model: Scaling Up Multilingual Safety Training with Templates

关键事实

  • 论文发布 MSafeTemp 语料,覆盖 60 种语言,用于多语言安全对齐与评测[1]

  • 方法是从有害提示中抽取安全模板,翻译后填入符合当地文化的实体,生成拒答与良性语料[1]

  • 作者称仅用英文评测会误判多语言安全性:部分模型在英文下失败的攻击,翻译后成功[1]

  • 文化本地化变体能暴露翻译单独无法发现的安全失败[1]

  • 模板扩充可提高对齐数据的多样性与质量,改善英语以外的安全表现[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。