首个巴斯克语语音语言模型发布,基于LLaMA-Omni架构
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
研究团队发布首个面向巴斯克语的开放语音语言模型,目标是低延迟的端到端语音交互。系统沿用LLaMA-Omni架构,以Latxa模型为骨干,通过微调多个模块把巴斯克语能力迁移到语音模态。为缓解数据稀缺,团队将英文VoiceAssistant-400K语料翻译成巴斯克语,并用巴斯克语TTS合成音频。评测显示内容质量3.86/5,语音可懂度WER为9.94%,音频质量UTMOS为3.07。作者认为,模块化架构加合成数据可在低资源语言上构建语音交互系统。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载模型架构与训练路线
该工作构建的巴斯克语语音语言模型沿用LLaMA-Omni的整体架构,没有从零训练一个语音模型,而是把已有的Latxa文本模型作为骨干,再通过微调若干模块,把它的巴斯克语文本能力延伸到语音模态。这种做法的关键在于模块化:语音理解与生成部分可以单独调整,骨干模型的语言能力得以保留。作者在摘要中明确,系统的设计目标是低延迟的端到端语音交互,也就是输入语音、输出语音,不依赖多段级联的独立系统。
用合成数据补足语料
低资源语言的主要障碍是缺少语音训练数据。团队的处理方式是把英文的VoiceAssistant-400K语料翻译成巴斯克语,再用巴斯克语TTS把文本合成为音频,从而得到可用的语音训练素材。这条路线不依赖大规模母语者录音,成本更低,也更容易复制到其他语种。作者据此提出,即使语料稀缺,模块化架构配合合成数据也能支撑起较完整的语音交互系统。
评测结果与适用边界
论文给出的评测包含三项指标:内容质量3.86/5,语音可懂度以9.94%的词错误率衡量,音频质量UTMOS为3.07。这些数字说明系统在内容层面已具备可用性,语音识别与合成质量则仍有提升空间。需要说明的是,材料只呈现了上述三项结果,未给出与其他巴斯克语系统的横向对比,也未说明模型权重、数据与代码的开放范围。该工作发表于IberSPEECH2026相关会议,论文编号为arXiv:2610.36911。
为什么值得看
低资源语言的端到端语音交互一直难做,这项工作给出了可复用的模块化与合成数据路线,并附具体评测指标。
Llama微调语音论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
