注册

研究将英语质量分类器扩展至百余种语言用于预训练数据筛选

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出多语言适配方法，把已有的英语质量分类器改造成多语言版本，用于大模型预训练数据筛选。做法是在仅含编码器的 Transformer 模型嵌入之上训练一个小型多层感知机，输入多语言文本，标签来自英语分类器对机器翻译文本的打分。在 1B、3B、8B 三种规模实验中，该方法在保持下游基准表现的同时未损害区域与文化知识类基准。研究还比较高质合成数据与网页样本的分类器得分，并考察其与基于大模型打分的相关性。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

低资源语言的数据筛选难题

大模型预训练中，高质量数据对性能的作用已被反复验证。基于模型的过滤方法在从网页级语料中挑出高质量子集方面效果明显，但这种做法主要在高资源语言上成立。低资源语言的问题在于可用的标注数据有限，难以直接训练出可靠的质量分类器。这篇论文的切入点正是这一缺口：不再为每种语言单独准备标注，而是想办法把已有的英语质量分类器迁移到更多语言上，论文给出的目标语言数量超过 100 种。

用机器翻译标签训练轻量适配层

具体做法并不复杂。论文在仅含编码器的 Transformer 模型嵌入之上训练一个小型多层感知机，输入是多语言文本，标签则来自英语分类器对机器翻译文本的打分。也就是说，英语分类器充当教师，机器翻译负责把多语言文本转成英语可处理的形态，从而生成训练信号。这种设计避免了对每种目标语言人工标注的依赖，把适配成本压在一个轻量模块上，而不是重新训练一个完整的多语言分类器。

三种规模下的效果与知识基准

论文在 1B、3B 和 8B 三种参数规模上做了实验。结果显示，该方法在下游大模型基准上的表现与已有的多语言基于模型过滤的基线相当，同时没有损害区域和文化知识类基准。这一点对多语言场景尤为关键：质量过滤如果一味偏向某种语言的语料特征，容易削弱模型对特定地区和文化内容的掌握，而该实验表明这种副作用在测试范围内没有出现。

跨语言泛化与评分一致性

为考察跨语言泛化能力，论文比较了高质量合成数据与网页样本的分类器得分，并分析了这些得分与基于大模型给出的评分之间的相关性。结果表明，该分类器能够学到其原始英语版本的评分标准，即便面对训练数据中未包含的语言也是如此。这说明适配后的分类器并非只对见过的语言有效，其判断依据在语言之间具有一定可迁移性，为后续扩展到更多语言提供了依据。

为什么值得看

低资源语言缺少标注数据，这套做法用机器翻译标签复用英语分类器，为多语言预训练数据筛选提供可复制的路径。

大模型论文

信源1 家

  1. [1]arXiv cs.AI一手信源Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection

关键事实

  • 论文提出将现有英语质量分类器转换为多语言变体，覆盖超过 100 种语言[1]

  • 方法是在仅含编码器的 Transformer 嵌入上训练小型多层感知机，标签为英语分类器对机器翻译文本的评分[1]

  • 在 1B、3B、8B 规模实验中，该方法保持了下游基准表现，且未损害区域与文化知识基准[1]

  • 研究比较高质合成数据与网页样本的分类器得分，并分析其与基于大模型评分的相关性[1]

  • 分类器能学到原始英语版本的评分标准，即使面对训练数据中未包含的语言[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论