研究:大模型跨语言代码翻译存在三类幻觉,提出 HaluCodeTran 缓解框架

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文系统考察大语言模型在跨语言代码翻译中的幻觉问题。作者在三个基准数据集、六组语言对、七个模型上构建分类体系,把幻觉分为语义一致性冲突、事实知识冲突、项目上下文偏离三类,并人工标注 13919 个幻觉案例,分析其在不同模型、数据集和翻译方向上的分布差异。基于该分类,作者提出 HaluCodeTran 缓解框架,结合 BM25 检索相关翻译示例与分类感知的反思式修正,为构建更可靠的代码迁移工具提供执行验证过的基线与刻画。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题为何值得单独研究

代码翻译要求把源程序换成另一种语言后功能保持不变,而大模型生成的代码可能出现与源程序冲突、违反目标语言事实、或引入上下文不一致依赖的情况。论文指出,这类失败在翻译场景中危害更大,因为细微的语义偏差就可能悄悄改变程序行为。已有幻觉研究多集中在自然语言生成或代码生成,跨语言代码翻译中幻觉的形态、分布与缓解方式尚未被充分刻画,这正是该研究的出发点。

分类体系与标注规模

作者在三个基准数据集、六组语言对和七个模型上开展实证研究,建立包含三大类的分类体系:语义一致性冲突、事实知识冲突、项目上下文偏离。研究团队人工标注了 13919 个幻觉案例,并据此分析幻觉类型如何随模型、数据集和翻译方向变化。论文强调,这一刻画经过执行测试验证,而非仅靠文本比对判断。

缓解框架的做法

在分类体系指导下,作者提出 HaluCodeTran 缓解框架,把 BM25 检索到的相关翻译示例与分类感知的反思式修正结合起来。论文将其定位为构建更可靠的大模型代码迁移工具的实用基线,并称该研究给出了经过执行测试的代码翻译幻觉刻画。

为什么值得看

做代码迁移与翻译工具的团队可据此了解幻觉的具体形态与分布,并参考一个可复现的缓解基线。

大模型幻觉论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源Hallucinations of Large Language Models in Cross-Language Code Translation: Phenomena and Mitigation

关键事实

  • 研究覆盖三个基准数据集、六组语言对和七个大语言模型[1]

  • 作者人工标注了 13919 个幻觉案例[1]

  • 幻觉被分为语义一致性冲突、事实知识冲突、项目上下文偏离三类[1]

  • HaluCodeTran 结合 BM25 检索翻译示例与分类感知的反思式修正[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。