GLOSS-MT 用可编辑词典为低资源翻译加入可控性

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

GLOSS-MT 针对低资源语言适配新术语时需新增平行数据并再次微调的问题,提出在离线英-契维词典中查找源语名词短语,原位替换为契维译文,再一次性微调模型翻译这种混合输入。该方法在 NLLB-200(600M、1.3B、3.3B)、OPUS-MT en-tw 与 TranslateGemma 4B 上采用同一数据与流程。在 84 篇文档、四个领域的英译阿散蒂契维文档级基准上,各微调版本 chrF2 均高于预训练基座(+2.85 至 +5.48),三个 NLLB 微调版为最佳开放系统(50.12–50.80)。人工译文圣经段落测试中,微调模型写出 79–97% 的词典术语;将词典条目全部换成其他术语后,输出随之改变,新术语出现率 70–97%,且无需重新训练。模型、数据与代码已公开。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

词典查换与单次微调

GLOSS-MT 的做法是在离线词典中查找源语句子里的名词短语,凡是能查到的条目,就直接把该短语替换成目标语言 Twi 的对应译法,从而得到一种源语与译语词汇混杂的输入。模型只需针对这类混合输入做一次微调,之后便用于翻译。这一流程把术语适配从“准备新的平行语料并再次微调”改为“维护一份可编辑的词典”,词典本身不参与训练,改动条目即可改变译法。作者把同一套数据和流程应用到 NLLB-200 的三个规模、OPUS-MT 的英语到 Twi 方向以及 TranslateGemma 4B 上,用以观察该方法在不同模型上的表现是否一致。

基准上的分数变化

评测使用一个文档级英译 Asante Twi 基准,包含 84 篇文档、覆盖四个领域。结果显示,每个经过微调的模型在 chrF2 上都高于其未微调的基座版本,提升幅度在 +2.85 到 +5.48 之间。三个 NLLB 微调版本在开放系统中得分最好,区间为 50.12 至 50.80。这些数字说明,引入混合输入的训练并没有让预训练模型的表现倒退,反而在文档级指标上有所前进;提升幅度随模型不同而不同,但方向一致。

替换词条即可改译文

可控性测试使用人工翻译的圣经段落。测试中,三个微调模型写出的词典术语占相当比例;当把词典中的每个条目替换成另一个词时,输出也随之改变,新词同样出现在译文中,而整个过程不需要重新训练。这说明术语的取舍由词典内容决定,模型本身保持不变。对使用者而言,术语更新可以落在词典这一层,不必为每个新词表重跑训练流程;同时,效果依赖于词典能否覆盖源语中的名词短语,未被收录的短语仍按模型原有方式翻译。

开放模型与数据

作者公开了模型、数据和代码,并给出模型与代码的链接。论文共 4 页、含 2 张表格,归入计算与语言以及人工智能方向。对低资源语言的使用者来说,可复用的部分是那条“查词典、原位替换、单次微调”的流水线,以及配套的文档级基准;需要自行准备的是面向具体领域的词典条目。

为什么值得看

用可编辑词典替代重复微调,为低资源语言术语控制提供可复现方案,并公开模型与代码。

微调

信源1 家

  1. [1]arXiv cs.AI一手信源GLOSS-MT: Controllable Low-Resource Machine Translation with an Editable Dictionary

关键事实

  • 方法在离线英-契维词典中查找源语名词短语并原位替换为契维译文,再微调模型翻译混合输入[1]

  • 同一数据与流程用于 NLLB-200 600M、1.3B、3.3B、OPUS-MT en-tw 和 TranslateGemma 4B[1]

  • 84 篇文档、四个领域的英译阿散蒂契维基准上,各微调版 chrF2 比基座高 2.85 至 5.48[1]

  • 三个 NLLB 微调版得分为 50.12–50.80,为最佳开放系统[1]

  • 替换全部词典条目后输出随之变化,新术语出现率 70–97%,无需重新训练[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。