FlowTranslator 提出免训练图像内翻译框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载免训练的图像内翻译思路
FlowTranslator 是一个不需要额外训练的图像内机器翻译框架，目标是把图片里的文字替换成译文，同时让周围的画面保持原样。此前针对这一任务专门训练的模型虽然效果不错，但前提是准备大量翻译前后的成对图像。这项工作的出发点在于，文生图模型已经能生成多语种文字，这种能力可以被迁移到图像内翻译上。具体流程是先用 OCR 模型识别图中文字，再由大语言模型生成翻译提示，把提示注入基于文生图的扩散模型，由扩散模型在图像中重新生成译文文字。整个过程不依赖成对训练数据，属于完全免训练的基线方案。
两处轨迹控制的作用
为了让译文文字生成得既准确又自然，作者在扩散模型的生成轨迹上加入了两项控制。第一项是 Region Coupling Release，在轨迹早期对文字区域内部的目标分支噪声做部分解耦，削弱该区域与画面其余部分的关联。第二项是 Coupling Expansion，在轨迹中段放大逐渐显现的编辑位移。两项控制分别作用于轨迹的不同阶段，前者在早期松开文字区域内部的耦合，后者在中期增强编辑信号，共同服务于译文文字在画面中的准确落位与自然呈现。材料没有给出这两项控制的更多参数细节。
读回协议下的成绩
在 EasyOCR 读回协议下，FlowTranslator 在 PRIM 上的 BLEU 与 COMET 平均分分别为 20.6 和 57.2，明显高于经过训练的强基线 UniTranslator。在难度更高、也更贴近真实的整图 ScenePair 照片翻译成中文的设定中，它取得了 40.1\% 的精确匹配准确率，并超过已有的编辑系统，其中一些系统只处理文字渲染阶段，并未完成完整的图像内翻译任务。这些结果把基于流的编辑确立为图像内翻译的一个有力且完全免训练的基线。
适用范围与读者关注点
从材料看，这套方法的定位是免训练基线，优势在于省去成对图像的准备环节，并借助文生图模型的多语种文字生成能力完成替换。它的评测覆盖 PRIM 基准与 ScenePair 整图照片两类场景，后者被描述为更具挑战性也更真实。材料同时指出，部分已有编辑系统只解决文字渲染，而不是完整的图像内翻译，这意味着比较时需注意任务范围是否一致。对关注图像内翻译的读者而言，这项工作的意义在于提供了一条不依赖成对训练数据的路线，并给出了在统一读回协议下可对照的分数。
为什么值得看
免训练路线在图像内翻译上超过训练型基线，为多语言图像本地化提供了可复用的扩散编辑方法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。