Repolode
投稿する
blendi-remade

blendi-remade/prompt2rig

テキストで動きを指示すると、falの動画モデル、GVHMRによるポーズ復元、Mixamoへのリターゲットを使って、その動きを演じるリグ付き3Dキャラクターを生成します。

GitHub で見る
スター
3
フォーク
0
未解決の Issue
0
最終コミット
12 時間前

これは何？

Prompt2Rigは、動きのテキスト説明から、ブラウザー上でリグ付きのアニメーションキャラクターを生成します。プロンプトをfal上の高速動画モデル（MiniMax H3 Max TurboまたはFLUX 3 Max）に送り、生成された動画の人物の動きをローカルのNVIDIA GPUでGVHMRを使って復元し、結果をMixamoのスケルトンにリターゲットします。

ブラウザーでは軽量なMediaPipe Pose処理を行い、すぐにライブプレビューを表示します。一方、高品質なGVHMR処理では、体型の比率を固定したボディの関節回転を生成します。アニメーションクリップ付きのテイクを.glbファイルとしてエクスポートでき、ヘッドレスBlenderスクリプトを使って保存済みのテイクをMP4にレンダリングできます。

プロジェクトには、依存関係ゼロのNodeサーバー、各クリップの最終フレームから次のクリップをつなぐストリームモード、高品質処理用のFastAPIワーカーが含まれています。GVHMRとSMPL-Xのコンポーネントには非商用の利用条件があるため、同梱された状態の高品質処理パスは商用利用には適していません。

主な機能

  • 01falの動画モデルを使い、テキストプロンプトから5秒のクリップを生成します。
  • 02MediaPipeを使ったブラウザー上のポーズライブプレビューを表示します。
  • 03GVHMRで動きを復元し、Mixamoのリグにリターゲットします。
  • 04アニメーションクリップ付きのテイクを.glbファイルとしてエクスポートします。
  • 05ストリームモードでは、複数のクリップをつないでひと続きのパフォーマンスにします。
  • 06保存済みのテイクをBlenderでヘッドレスレンダリングします。

ユースケース

  • モーションキャプチャ環境を用意せず、テキストのアイデアからキャラクターアニメーションを試作する。
  • Mixamoキャラクターを使って、ゲームやthree.jsシーン向けの動きのプレビューを作成する。
  • アニメーション付きの.glbキャラクターをBlender、Unity、three.js向けにエクスポートする。
  • ローカルGPUでAI動画からモーションを生成するパイプラインを試す。

トピック

#ai#motion-capture#3d-animation#text-to-video#threejs#pose-estimation#gpu

よくある質問

prompt2rig とは？
テキストで動きを指示すると、falの動画モデル、GVHMRによるポーズ復元、Mixamoへのリターゲットを使って、その動きを演じるリグ付き3Dキャラクターを生成します。 Prompt2Rigは、動きのテキスト説明から、ブラウザー上でリグ付きのアニメーションキャラクターを生成します。プロンプトをfal上の高速動画モデル（MiniMax H3 Max TurboまたはFLUX 3 Max）に送り、生成された動画の人物の動きをローカルのNVIDIA GPUでGVHMRを使って復元し、結果をMixamoのスケルトンにリターゲットします。
prompt2rig は無料で使えますか？ライセンスは？
prompt2rig は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
prompt2rig は今もメンテナンスされていますか？
活発にメンテナンス中。prompt2rig の最終コミットは 2026年10月19日 です。
prompt2rig は何に使えますか？
モーションキャプチャ環境を用意せず、テキストのアイデアからキャラクターアニメーションを試作する。 Mixamoキャラクターを使って、ゲームやthree.jsシーン向けの動きのプレビューを作成する。 アニメーション付きの.glbキャラクターをBlender、Unity、three.js向けにエクスポートする。 ローカルGPUでAI動画からモーションを生成するパイプラインを試す。
prompt2rig はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/blendi-remade/prompt2rig

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト