Repolode
multimodal-art-projection

multimodal-art-projection/YuE

YuE2 是一个开源音乐生成模型,先根据歌词和风格生成可编辑的旋律与和弦方案,再渲染成带人声的完整歌曲。

可替代:SunoUdio

Star
12,271
Fork
1,409
未关闭 Issue
82
最近提交
14天前

这是什么?

YuE2 根据歌词和风格提示生成完整歌曲。模型会先输出一份 ABC 记谱格式的旋律与和弦乐谱,用户可以在渲染音频前查看和修改,最终输出 48 kHz 立体声音频,包含人声和伴奏。

除了从零创作,项目还支持零样本翻唱:先用配套的 SheetSage2 模型把参考录音转写为旋律谱,再以新的风格或新歌词重新演绎。用户也可以导出乐谱、编辑后重新生成,或通过配套的 Agent skill 完成这些流程。

项目提供 Python 接口,支持规划、语义生成、合成和解码等分步调用。运行环境为 Linux,需要支持 BF16 的 NVIDIA GPU 和约 24 GB 显存。模型权重采用非商业许可证,代码为 Apache 2.0。

核心功能

  • 01根据歌词和风格先生成旋律与和弦乐谱,再渲染音频。
  • 02支持导出 ABC 乐谱,编辑后重新生成歌曲。
  • 03支持基于转写参考录音的零样本翻唱。
  • 04输出 48 kHz 立体声音频,并保存乐谱和中间产物。
  • 05提供分步式 Python 接口和命令行示例脚本。

适用场景

  • 根据歌词和风格描述快速原型化歌曲。
  • 为已有旋律创作新编曲或不同风格的版本。
  • 通过提供旋律乐谱生成器乐伴奏。
  • 研究符号乐谱与音频结合的音乐生成方法。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/multimodal-art-projection/YuE.git
  2. 2

    进入目录并创建 Python 3.12 虚拟环境

    cd YuE && python3.12 -m venv .venv && source .venv/bin/activate
  3. 3

    安装软件包

    python -m pip install --upgrade pip && python -m pip install .
  4. 4

    生成第一首歌曲(首次使用时下载模型)

    python examples/generate.py --output outputs/first-song

使用前须知

  • 需要 Linux、Python 3.12 以及支持 BF16 且显存为 24 GB 的 NVIDIA GPU。
  • 模型文件在首次使用时从 Hugging Face 下载。

标签

常见问题

YuE 是什么?
YuE2 是一个开源音乐生成模型,先根据歌词和风格生成可编辑的旋律与和弦方案,再渲染成带人声的完整歌曲。 YuE2 根据歌词和风格提示生成完整歌曲。模型会先输出一份 ABC 记谱格式的旋律与和弦乐谱,用户可以在渲染音频前查看和修改,最终输出 48 kHz 立体声音频,包含人声和伴奏。
YuE 可以免费使用吗?用的什么许可证?
YuE 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
YuE 还在维护吗?
活跃维护中。YuE 最近一次提交是在 2026年10月6日。
YuE 适合用来做什么?
根据歌词和风格描述快速原型化歌曲。 为已有旋律创作新编曲或不同风格的版本。 通过提供旋律乐谱生成器乐伴奏。 研究符号乐谱与音频结合的音乐生成方法。
YuE 怎么安装和运行?
克隆仓库: git clone https://github.com/multimodal-art-projection/YuE.git 进入目录并创建 Python 3.12 虚拟环境: cd YuE && python3.12 -m venv .venv && source .venv/bin/activate 安装软件包: python -m pip install --upgrade pip && python -m pip install . 生成第一首歌曲(首次使用时下载模型): python examples/generate.py --output outputs/first-song
在哪里获取 YuE?
源代码和安装说明在 GitHub 上:https://github.com/multimodal-art-projection/YuE

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目