注册

研究：回译仍有效，低资源翻译优于继续预训练

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文比较了在低资源机器翻译中利用单语数据的两种做法。作者认为，与其把大模型继续预训练到低资源语言上，不如采用大模型出现之前就有的回译方法：让微调后的模型把单语句子译成目标方向，用得到的句对反向训练模型，并穿插平行语料的更新以保持稳定。在 Odia 和 Swahili 上仅用 1K 平行句对时，回译在领域内比继续预训练高出 7.7 到 16.4 个 XCOMET-XXL 点，也超过平行数据多十倍的模型。从平行数据中检索上下文示例还能进一步提升效果。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

单语数据的新用法

论文提出的做法是：当手头除少量平行语料外，还握有中等规模的低资源语言单语文本时，不必把这些文本用于继续预训练，而是回到前大模型时代的反向翻译思路。具体流程是让当前已经微调过的大模型把每种语言的单语句子翻译出来，由此得到的句对再用来训练模型做反方向的翻译。为了避免学习过程失稳，平行语料上的参数更新会与反向翻译产生的更新交替进行。作者把这一路线与继续预训练到低资源语言的做法直接做了比较，认为后者并非这批单语数据的更优用途。

小样本下的对比结果

在 Odia 与 Swahili 上，实验只用了 1K 平行句对。以 XCOMET-XXL 为衡量指标，反向翻译在领域内的表现比继续预训练到低资源语言高出 7.7 到 16.4 分。若中间翻译采用束搜索解码，该方法的成绩还能超过一个使用了十倍平行数据的模型。此外，从平行数据中检索出的上下文示例可以进一步提升反向翻译的效果。论文还考察了单语文本的来源、质量与数量对结果的影响。

跨语言与人工验证

实验覆盖五种低资源语言，并以 Hindi 作为高资源对照，骨干模型为两个 3B 规模的模型。结果显示，相比仅用平行语料做微调，反向翻译在译入低资源语言方向上带来 16 到 173% 的 XCOMET-XXL 提升。针对 Odia 与 Sanskrit 的盲测人工评估结论与自动指标一致。论文作者为 Divyanshu Bathla、Parag Singla 与 Jitin Singla，提交于 2026 年 10 月 13 日，编号 arXiv:2610.18818，主题分类为 cs.CL 与 cs.AI。

为什么值得看

低资源翻译缺平行语料，这篇给出用单语数据的具体做法与量化收益，并附人工评测。

大模型微调论文

信源1 家

  1. [1]arXiv cs.AI一手信源Back-Translation Still Matters: Leveraging Monolingual Data for Low-Resource Machine Translation with LLMs

关键事实

  • 论文在 Odia 和 Swahili 上仅使用 1K 平行句对进行实验[1]

  • 回译在领域内比继续预训练高出 7.7 到 16.4 个 XCOMET-XXL 点[1]

  • 采用 beam 解码的中间译文时，回译超过平行数据多十倍的模型[1]

  • 实验覆盖五种低资源语言，以 Hindi 作为高资源对照，使用两个 3B 骨干模型[1]

  • 在 Odia 和 Sanskrit 上的盲测人工评估结果与自动指标一致[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论