OpenTalker/SadTalker

これは何？

主な機能

• 011枚のポートレート画像と音声ファイルから、話す顔の動画を生成します。
• 023Dモーション係数を介して、音声から頭部の姿勢と表情を予測します。
• 03ローカルで使えるGradio WebUIと、生成用CLIを提供します。
• 04stable-diffusion-webui拡張機能を備えています。
• 05全身の静止画モードと、オプションのGFPGAN顔エンハンサーに対応しています。

ユースケース

• コンテンツやデモ向けに、1枚の写真からトーキングヘッド動画を作成する。
• 音声駆動の顔アニメーションを研究目的で試す。
• stable-diffusion-webuiのワークフローに、リップシンクするアバターの発話を追加する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/OpenTalker/SadTalker.git
2. 2

   Python 3.8 の conda 環境を作成して有効化する

   conda create -n sadtalker python=3.8
3. 3

   requirements をインストールする

   pip install -r requirements.txt
4. 4

   事前学習済みモデルをダウンロードする（リポジトリのルートから実行）

   bash scripts/download_models.sh

使う前に知っておきたいこと

• !初回使用前に、CUDA を含む GPU 向けの PyTorch 環境を用意し、モデルを手動でダウンロードする必要があります。
• !メタデータ上のライセンスは NOASSERTION となっているため、商用利用の前にリポジトリのライセンスを確認してください。
• !README によると、Gradio デモには Coqui TTS を別途インストールする必要があり、Windows と macOS では追加のセットアップ手順も必要です。

収録されている特集

トピック

よくある質問

SadTalker とは？

1枚のポートレート画像と音声クリップから、3Dモーション係数で駆動するトーキングヘッド動画を生成します（CVPR 2023）。 SadTalkerは、1枚のポートレート写真を、入力した音声に合わせて話すようにアニメーション化します。音声から頭部の姿勢や表情を含む3Dモーション係数を予測し、それを使って静止画から話す顔の動画を生成します。

SadTalker は無料で使えますか？ライセンスは？

SadTalker は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

SadTalker は今もメンテナンスされていますか？

半年以上コミットなし。SadTalker の最終コミットは 2024年6月26日 です。

SadTalker は何に使えますか？

コンテンツやデモ向けに、1枚の写真からトーキングヘッド動画を作成する。 音声駆動の顔アニメーションを研究目的で試す。 stable-diffusion-webuiのワークフローに、リップシンクするアバターの発話を追加する。

SadTalker のインストール方法は？

リポジトリをクローンする: git clone https://github.com/OpenTalker/SadTalker.git Python 3.8 の conda 環境を作成して有効化する: conda create -n sadtalker python=3.8 requirements をインストールする: pip install -r requirements.txt 事前学習済みモデルをダウンロードする（リポジトリのルートから実行）: bash scripts/download_models.sh

SadTalker はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/OpenTalker/SadTalker