okooooooo/MOSS-TTS-Nano
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
main
MOSS-TTS-Nano/README_zh.md
T
gyt1145028706 ca80ffa1ed upd
2026-04-14 07:57:51 +00:00

14 KiB
Raw Permalink Blame History

MOSS-TTS-Nano


    

OpenClaw WeChat

English | 简体中文

MOSS-TTS-Nano 是来自 MOSI.AI 和 OpenMOSS 团队 的开源多语言微型语音生成模型。仅包含 0.1B 参数，专为实时语音生成设计，可直接在 CPU 上运行（无需 GPU），并保持部署栈足够简单，适用于本地演示、网络服务和轻量级产品集成。

demo_video.mp4

新闻

演示

目录

介绍

MOSS-TTS-Nano concept

MOSS-TTS-Nano 专注于 TTS 部署中最重要的部分：小体积、低延迟、足够好的实时产品质量 和 简单的本地配置。它使用纯自回归 Audio Tokenizer + LLM 管道，并保持推理工作流对终端用户和网络演示用户都友好。

主要特性

  • 超小模型尺寸：仅 0.1B 参数
  • 原生音频格式：48 kHz、2 声道输出
  • 多语言支持：支持 中文、英文等多种语言
  • 纯自回归架构：基于 Audio Tokenizer + LLM
  • 流式推理：低实时延迟和快速首字节音频
  • CPU 友好：流式生成可在 4 核 CPU 上运行
  • 长文本支持：支持长输入，具有自动分块语音克隆
  • 开源部署：支持直接 python infer.py、python app.py 和打包 CLI

MOSS-TTS-Nano architecture
MOSS-TTS-Nano 架构图

支持的语言

MOSS-TTS-Nano 目前支持 20 种语言：

语言 代码 旗帜 语言 代码 旗帜 语言 代码 旗帜
中文 zh 🇨🇳 英文 en 🇺🇸 德语 de 🇩🇪
西班牙语 es 🇪🇸 法语 fr 🇫🇷 日语 ja 🇯🇵
意大利语 it 🇮🇹 匈牙利语 hu 🇭🇺 韩语 ko 🇰🇷
俄语 ru 🇷🇺 波斯语 (Farsi) fa 🇮🇷 阿拉伯语 ar 🇸🇦
波兰语 pl 🇵🇱 葡萄牙语 pt 🇵🇹 捷克语 cs 🇨🇿
丹麦语 da 🇩🇰 瑞典语 sv 🇸🇪 希腊语 el 🇬🇷
土耳其语 tr 🇹🇷

快速开始

环境配置

我们建议先创建一个干净的 Python 环境，然后以可编辑模式安装项目，使得 moss-tts-nano 命令在本地可用。下面的示例故意保持参数最少，依赖仓库默认设置。默认情况下，代码加载 OpenMOSS-Team/MOSS-TTS-Nano 和 OpenMOSS-Team/MOSS-Audio-Tokenizer-Nano。

使用 Conda

conda create -n moss-tts-nano python=3.12 -y
conda activate moss-tts-nano

git clone https://github.com/OpenMOSS/MOSS-TTS-Nano.git
cd MOSS-TTS-Nano

pip install -r requirements.txt
pip install -e .

如果 WeTextProcessing 无法从 requirements.txt 安装，请尝试在同一环境中手动安装：

conda install -c conda-forge pynini=2.1.6.post1 -y
pip install git+https://github.com/WhizZest/WeTextProcessing.git

使用 infer.py 进行语音克隆

本仓库保留了直接 Python 入口点用于本地推理。下面的示例使用 语音克隆模式，这是 MOSS-TTS-Nano 的主要推荐工作流。

python infer.py \
  --prompt-audio-path assets/audio/zh_1.wav \
  --text "欢迎关注模思智能、上海创智学院与复旦大学自然语言处理实验室。"

默认情况下，这会将音频写入 generated_audio/infer_output.wav。

使用 app.py 启动本地 Web 演示

您可以启动本地 FastAPI 演示进行基于浏览器的测试：

python app.py

然后在浏览器中打开 http://127.0.0.1:18083。

CLI 命令：moss-tts-nano generate

安装后 pip install -e .，您可以直接调用打包的 CLI：

moss-tts-nano generate \
  --prompt-speech assets/audio/zh_1.wav \
  --text "欢迎关注模思智能、上海创智学院与复旦大学自然语言处理实验室。"

有用的提示：

  • moss-tts-nano generate 默认写入 generated_audio/moss_tts_nano_output.wav。
  • --prompt-speech 是用于语音克隆的参考音频路径的友好别名。
  • 支持 --text-file 用于长文本合成。

CLI 命令：moss-tts-nano serve

您也可以通过打包的 CLI 启动网络演示：

moss-tts-nano serve

此命令转发到 app.py，将模型保持在内存中加载，并为本地浏览器演示和 HTTP 生成端点提供服务。

MOSS-Audio-Tokenizer-Nano

介绍

MOSS-Audio-Tokenizer 是整个 MOSS-TTS 系列的统一离散音频接口。它基于 Cat（Causal Audio Tokenizer with Transformer）架构构建，这是一个由因果 Transformer 块完全组成的无 CNN 音频分词器。它作为 MOSS-TTS、MOSS-TTS-Nano、MOSS-TTSD、MOSS-VoiceGenerator、MOSS-SoundEffect 和 MOSS-TTS-Realtime 的共享音频 tokenizer，为整个产品系列提供一致的音频表示。

为了进一步提高感知质量同时降低推理成本，我们训练了 MOSS-Audio-Tokenizer-Nano，这是一个轻量级分词器，包含约 20M 参数，专为高保真音频压缩设计。它支持 48 kHz 输入输出以及 立体声音频，有助于减少压缩损失并提高听觉质量。它可以将 48 kHz 立体声音频压缩成 12.5 Hz 的 token 流，使用 16 个码本的 RVQ，在 0.125 kbps 到 2 kbps 的可变码率范围内实现高保真重建。

要了解更多关于设置、高级用法和评估指标的信息，请访问 MOSS-Audio-Tokenizer 仓库

MOSS-Audio-Tokenizer-Nano 架构 MOSS-Audio-Tokenizer-Nano 架构

模型权重

模型 Hugging Face ModelScope
MOSS-Audio-Tokenizer-Nano Hugging Face ModelScope

MOSS-TTS 家族

介绍

MOSS-TTS 家族是 OpenMOSS 开源的语音与声音生成模型系列，面向自然语音、高表现力表达、长文本稳定生成、多说话人交互、音色设计、音效生成以及实时语音响应等任务。

这个系列目前包含以下模型：

  • MOSS-TTS：家族中的旗舰模型，支持 高保真零样本语音克隆、长文本长语音生成、拼音 / 音素 / 时长细粒度控制，以及 多语种 / 中英混合合成。
  • MOSS-TTS-Local-Transformer：基于 MossTTSLocal 的较小参数模型，用更轻量的规模延续 MOSS-TTS 家族的语音生成能力。
  • MOSS-TTSD-v1.0：面向 高表现力、多说话人、超长对话 场景的有声对话生成模型。
  • MOSS-VoiceGenerator：音色设计模型，可直接根据文本提示生成多样的音色与说话风格，不需要参考音频。
  • MOSS-SoundEffect：可控音效生成模型，支持自然环境、城市场景、生物、人类动作和短音乐化片段等声音生成。
  • MOSS-TTS-Realtime：面向低延迟语音智能体的实时语音模型，强调多轮回复中的自然性、连贯性和音色一致性。

已发布模型

模型 架构 参数规模 Hugging Face ModelScope
MOSS-TTS MossTTSDelay 8B Hugging Face ModelScope
MOSS-TTS-Local-Transformer MossTTSLocal 1.7B Hugging Face ModelScope
MOSS-TTSD-v1.0 MossTTSDelay 8B Hugging Face ModelScope
MOSS-VoiceGenerator MossTTSDelay 1.7B Hugging Face ModelScope
MOSS-SoundEffect MossTTSDelay 8B Hugging Face ModelScope
MOSS-TTS-Realtime MossTTSRealtime 1.7B Hugging Face ModelScope

许可证

本仓库将遵循根目录中的 LICENSE 文件中指定的许可证。如果您在该文件发布前阅读本文档，请将本仓库视为 未获得重新发布许可。

引用

如果您在研究或产品中使用了 MOSS-TTS-Nano 工作，请引用：

@misc{openmoss2026mossttsnano,
  title={MOSS-TTS-Nano},
  author={OpenMOSS Team},
  year={2026},
  howpublished={GitHub repository},
  url={https://github.com/OpenMOSS/MOSS-TTS-Nano}
}

@misc{gong2026mossttstechnicalreport,
  title={MOSS-TTS Technical Report},
  author={Yitian Gong and Botian Jiang and Yiwei Zhao and Yucheng Yuan and Kuangwei Chen and Yaozhou Jiang and Cheng Chang and Dong Hong and Mingshu Chen and Ruixiao Li and Yiyang Zhang and Yang Gao and Hanfu Chen and Ke Chen and Songlin Wang and Xiaogui Yang and Yuqian Zhang and Kexin Huang and ZhengYuan Lin and Kang Yu and Ziqi Chen and Jin Wang and Zhaoye Fei and Qinyuan Cheng and Shimin Li and Xipeng Qiu},
  year={2026},
  eprint={2603.18090},
  archivePrefix={arXiv},
  primaryClass={cs.SD},
  url={https://arxiv.org/abs/2603.18090}
}

@misc{gong2026mossaudiotokenizerscalingaudiotokenizers,
  title={MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models},
  author={Yitian Gong and Kuangwei Chen and Zhaoye Fei and Xiaogui Yang and Ke Chen and Yang Wang and Kexin Huang and Mingshu Chen and Ruixiao Li and Qingyuan Cheng and Shimin Li and Xipeng Qiu},
  year={2026},
  eprint={2602.10934},
  archivePrefix={arXiv},
  primaryClass={cs.SD},
  url={https://arxiv.org/abs/2602.10934}
}

Star 历史

Star History Chart

Reference in new issue View Git Blame Copy Permalink