multimodal-art-projection/YuE

これは何？

主な機能

• 01音声を生成する前に、歌詞とスタイルからメロディー・コード譜を生成します。
• 02エクスポートしたABC譜面を編集し、楽曲を再生成できます。
• 03元の録音から譜面を起こし、ゼロショットでカバーを生成できます。
• 0448 kHzのステレオ音声を出力し、譜面や中間生成物も一緒に保存します。
• 05段階的に実行できるPython APIと、コマンドライン用のサンプルスクリプトを提供します。

ユースケース

• 歌詞とスタイルの説明から楽曲のプロトタイプを作成する。
• 既存のメロディーをもとに、新しいアレンジやスタイルの楽曲を作成する。
• メロディー譜を入力してインストゥルメンタル曲を生成する。
• 記号表現と音声を組み合わせた音楽生成を研究する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/multimodal-art-projection/YuE.git
2. 2

   ディレクトリに移動し、Python 3.12 の仮想環境を作成する

   cd YuE && python3.12 -m venv .venv && source .venv/bin/activate
3. 3

   パッケージをインストールする

   python -m pip install --upgrade pip && python -m pip install .
4. 4

   最初の曲を生成する（初回使用時にモデルがダウンロードされます）

   python examples/generate.py --output outputs/first-song

使う前に知っておきたいこと

• !Linux、Python 3.12、BF16 に対応した 24 GB VRAM の NVIDIA GPU が必要です。
• !モデルファイルは初回使用時に Hugging Face からダウンロードされます。

トピック

よくある質問

YuE とは？

YuE2は、歌詞とスタイルプロンプトから編集可能なメロディー・コード譜を作成し、ボーカル入りの楽曲を生成するオープンな音楽生成モデルです。 YuE2は、歌詞とスタイルプロンプトから楽曲を生成します。まず、メロディーとコードをABC記法で表した譜面を作成するため、音声を生成する前に内容を確認して編集できます。生成される音声は、ボーカルと伴奏を含む48 kHzのステレオ音声です。

YuE は無料で使えますか？ライセンスは？

YuE は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

YuE は今もメンテナンスされていますか？

活発にメンテナンス中。YuE の最終コミットは 2026年10月6日 です。

YuE は何に使えますか？

歌詞とスタイルの説明から楽曲のプロトタイプを作成する。 既存のメロディーをもとに、新しいアレンジやスタイルの楽曲を作成する。 メロディー譜を入力してインストゥルメンタル曲を生成する。 記号表現と音声を組み合わせた音楽生成を研究する。

YuE のインストール方法は？

リポジトリをクローンする: git clone https://github.com/multimodal-art-projection/YuE.git ディレクトリに移動し、Python 3.12 の仮想環境を作成する: cd YuE && python3.12 -m venv .venv && source .venv/bin/activate パッケージをインストールする: python -m pip install --upgrade pip && python -m pip install . 最初の曲を生成する（初回使用時にモデルがダウンロードされます）: python examples/generate.py --output outputs/first-song

YuE はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/multimodal-art-projection/YuE