蚂蚁 inclusionAI 开源 Ming-3.0-tts 语音合成模型

模型AI 评分 72/100蚂蚁 inclusionAI:GitHub 新仓库待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

蚂蚁 inclusionAI 在 GitHub 新建仓库,开源 Ming-3.0-tts 语音合成模型,权重目录为 Ming-3.0-tts-0.5b。仓库文件显示,模型主干为 dense 结构,配置映射到 BailingMMConfig;权重文件 model.safetensors 内含 backbone、音频 VAE、DiT head 与 aggregator 四部分。说话人特征由 campplus.onnx 提取,分词相关文件包括 tokenizer.json 及配套的 vocab、merges、added_tokens 等。仓库还提供 ModelScope 任务描述文件与 chat_template.jinja 对话模板。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

仓库里有什么

这次公开的是一个模型权重目录 Ming-3.0-tts-0.5b,而非完整训练代码。目录中 config.json 把 model_type 标为 dense,auto_map 指向 BailingMMConfig,说明加载时走的是这套配置类。configuration.json 是 ModelScope 的任务描述文件,方便在对应平台上识别任务类型。权重集中在单个 model.safetensors 中,README 与 tokenizer 相关文件一并提供,构成可直接取用的推理侧文件集合。

模型结构线索

从权重文件的组成看,模型由 backbone、音频 VAE、DiT head 和 aggregator 四块拼成:主干负责建模,音频 VAE 承担音频的编解码,DiT head 与 aggregator 参与生成侧的处理。这一组合方式与当前语音合成中常见的「语言模型主干 + 扩散式声学头」思路一致,但材料只给出文件层面的划分,未披露参数量、采样率、支持语种或推理速度等信息。

说话人与文本处理

说话人特征由单独的 campplus.onnx 提取,意味着音色控制依赖这一外部嵌入模型,而非完全内置在主干里。文本侧提供 tokenizer.json,并配套 vocab.json、merges.txt、added_tokens.json,以及 tokenizer_config.json、special_tokens_map.json 和 chat_template.jinja。对话模板的存在说明输入可能按对话格式组织,但材料未说明具体用法与调用接口。

为什么值得看

从文件结构可看出模型由主干、音频 VAE 与 DiT 头组合而成,并自带说话人编码器,便于判断其技术路线与部署成本。

语音

信源1 家

  1. [1]蚂蚁 inclusionAI:GitHub 新仓库线索来自 AIHOT蚂蚁 inclusionAI 开源 Ming-3.0-tts 语音合成模型

关键事实

  • 蚂蚁 inclusionAI 在 GitHub 新建仓库,开源 Ming-3.0-tts 语音合成模型[1]

  • 权重目录名为 Ming-3.0-tts-0.5b[1]

  • config.json 标注 model_type 为 dense,auto_map 指向 BailingMMConfig[1]

  • model.safetensors 包含 backbone、音频 VAE、DiT head 与 aggregator[1]

  • campplus.onnx 用于提取说话人嵌入[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。