Repolode
Friedrich-M

Friedrich-M/UniMate

ヒューマノイドから四足動物、鳥、魚、昆虫型まで、任意のリグ付きスケルトン向けにアニメーションを生成する統合型のテキスト-to-モーションモデル。

スター
2,006
フォーク
217
未解決の Issue
6
最終コミット
12 日前

これは何?

UniMateはテキストプロンプトとリグ付きアセットから関節のある3Dモーションを生成します。スケルトンごとの再学習や推論時の最適化を行わず、トポロジーの異なるスケルトンに対応します。Flow matchingを基盤とし、二足歩行、四足歩行、鳥類、水生生物、昆虫、蛇行する生物、剛体オブジェクトのリグを網羅する7,430体のスケルトンを対象に、テキストと対応付けられた13,769本のモーションクリップからなるデータセットUniML3Dで学習されています。

このリポジトリには、データセットのデータ処理パイプライン、JSON configとAccelerateを使った学習コード、データセット内のスケルトンや独自のリグ付きGLB、glTF、FBXアセットをアニメーションさせる推論スクリプトが含まれています。rig_preprocessツールでは、LLMを使ってジョイントにラベルを付け、アセットを構築する前に確認できます。公開済みのチェックポイントはHugging Faceから入手できます。

同じモデルで、キーフレーム間のモーション補間、選択したジョイントを維持して残りを再生成するテキストガイド付き編集、複数のプロンプトをつないで長いクリップを作るモーション拡張にも対応します。

主な機能

  • 01スケルトンごとの再学習なしで、テキストプロンプトから任意のスケルトン向けのモーションを生成
  • 02ヒューマノイド、四足動物、鳥類、水生生物、昆虫、剛体オブジェクトのリグに対応
  • 03学習・推論コード、公開済みチェックポイント、UniML3Dデータセットを提供
  • 04ジョイントのラベル付けを行う前処理ツールで、独自のリグ付きGLB、glTF、FBXアセットを読み込み
  • 05追加学習なしで、キーフレーム間の補間、モーション編集、モーション拡張に対応

ユースケース

  • ゲームや映画のプリビジュアライゼーションで、独自の3Dキャラクターや生物をテキストプロンプトからアニメーション化
  • 四足動物、鳥、魚など、ヒューマノイド以外のアセット向けのモーション生成
  • 多様なスケルトントポロジーに対応するテキスト条件付きモーション生成の研究
  • キーフレーム間のモーション補完や、既存アニメーションの一部編集

クイックスタート

  1. 1

    Python 3.10 で conda 環境を作成する

    conda create -n unimate python=3.10 -y
  2. 2

    環境を有効化する

    conda activate unimate
  3. 3

    setuptools のバージョンを 81 未満に固定する

    pip install "setuptools<81"
  4. 4

    プロジェクトの依存関係をインストールする

    pip install -r requirements.txt --no-build-isolation

使う前に知っておきたいこと

  • 完全な再現には Truebones ZOO motion pack が必要です。これは購入が必要な商用アセットで、再配布できません。
  • 学習は Accelerate を使った GPU 利用(マルチ GPU 実行を含む)を前提としているため、CPU での実行には適していません。
  • プレビュー用チェックポイントが公開されており、今後新しいチェックポイントに置き換わるため、結果が変わる可能性があります。

トピック

よくある質問

UniMate とは?
ヒューマノイドから四足動物、鳥、魚、昆虫型まで、任意のリグ付きスケルトン向けにアニメーションを生成する統合型のテキスト-to-モーションモデル。 UniMateはテキストプロンプトとリグ付きアセットから関節のある3Dモーションを生成します。スケルトンごとの再学習や推論時の最適化を行わず、トポロジーの異なるスケルトンに対応します。Flow matchingを基盤とし、二足歩行、四足歩行、鳥類、水生生物、昆虫、蛇行する生物、剛体オブジェクトのリグを網羅する7,430体のスケルトンを対象に、テキストと対応付けられた13,769本のモーションクリップからなるデータセットUniML3Dで学習されています。
UniMate は無料で使えますか?ライセンスは?
UniMate は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
UniMate は今もメンテナンスされていますか?
活発にメンテナンス中。UniMate の最終コミットは 2026年10月8日 です。
UniMate は何に使えますか?
ゲームや映画のプリビジュアライゼーションで、独自の3Dキャラクターや生物をテキストプロンプトからアニメーション化 四足動物、鳥、魚など、ヒューマノイド以外のアセット向けのモーション生成 多様なスケルトントポロジーに対応するテキスト条件付きモーション生成の研究 キーフレーム間のモーション補完や、既存アニメーションの一部編集
UniMate のインストール方法は?
Python 3.10 で conda 環境を作成する: conda create -n unimate python=3.10 -y 環境を有効化する: conda activate unimate setuptools のバージョンを 81 未満に固定する: pip install "setuptools<81" プロジェクトの依存関係をインストールする: pip install -r requirements.txt --no-build-isolation
UniMate はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/Friedrich-M/UniMate

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト