FlowTranslator：基于流编辑的免训练图像内机器翻译

图像内机器翻译（IIMT）在保留周围视觉上下文的同时，将图像中的文本替换为其译文。现有的任务专用模型能够取得令人信服的效果，但在训练前需要大量成对的翻译前后图像。鉴于先进的文本生成图像（T2I）模型已经具备实用水平的多语言文本生成能力，我们认为可以将这种能力迁移到 IIMT 中，并提出 FlowTranslator。这是一个免训练的 IIMT 框架：首先利用 OCR 模型和 LLM 生成翻译提示词，再将其注入基于 T2I 的扩散模型。为优化译文的准确、自然生成，我们引入了两种轨迹控制机制：区域耦合释放（Region Coupling Release，RCR）在轨迹早期对文本区域内目标分支的噪声进行部分去相关，而耦合扩展（Coupling Expansion，CE）则在轨迹中期放大逐渐形成的编辑位移。在 EasyOCR 回读协议下，FlowTranslator 的平均 PRIM BLEU 和 COMET 得分分别达到 20.6 和 57.2，显著优于强大的基于训练的基线 UniTranslator。在更具挑战性且更贴近真实场景的整幅图像 ScenePair 照片中，将文本翻译成中文时，其精确匹配准确率达到 40.1%，并超过了现有的编辑系统；其中一些系统仅处理文本渲染阶段，而非完整的 IIMT 任务。这些结果表明，基于流的编辑可以作为 IIMT 中一种强有力的、完全免训练的基线方法。