テキストで動きを指示すると、falの動画モデル、GVHMRによるポーズ復元、Mixamoへのリターゲットを使って、その動きを演じるリグ付き3Dキャラクターを生成します。
toyxyz/toyxyz_RGBMocap
動画を編集可能な人間のモーションに変換するWindowsネイティブアプリ。AI姿勢推定モデルをローカルで実行し、FBXまたはVMDに書き出せます。
代替できる製品:Rokoko Vision
- スター
- 866
- フォーク
- 116
- 未解決の Issue
- 5
- 最終コミット
- 22 時間前
これは何?
RGB MoCapは、一般的な動画から人間の動きを再構成するWindowsデスクトップアプリです。複数のAIモーションキャプチャモデル(ExMR、FlowHMR、GVHMR、MAMMA、PromptHMR)をNVIDIA GPU上でローカル実行できるため、書き出し前に3Dプレビューで結果を確認できます。
再構成後は、接地タイミングを編集して足や手のひらの接触を補正し、滑りを軽減できます。モーションはMixamo FBX、VRM、PMXの人型キャラクターにリターゲットでき、FBXまたはMMD用のVMDとして書き出せます。プロジェクトではAIモデルごとに結果が個別に保存されます。
セットアップはスクリプト(install.cmd、RGBMoCap.cmd)と、モデルの重みをダウンロードするModel Managerで行います。一部のモデルではアカウント登録とライセンスへの同意が必要で、すべてのモデルをそろえるには数十GBのディスク容量が必要です。
主な機能
- 011人または複数人の動きを再構成し、ボディメッシュとボーンをプレビューできます。
- 02接地タイミングを編集して、足や手のひらの接触時の滑りを補正できます。
- 03モーションをMixamo FBX、VRM、PMXの人型キャラクターにリターゲットできます。
- 04アニメーションをFBXで、またはPMXキャラクターのモーションをMMD用のVMDで書き出せます。
- 05MAMMAモデルによるマルチカメラ撮影に対応しています。
ユースケース
- 参考映像をUnity、Blender、またはゲームのキャラクター用アニメーションに変換する。
- PMXキャラクターとVMD書き出しを使い、動画からMMDのダンスモーションを作成する。
- 専用のモーションキャプチャスタジオを使わずに、アニメーション制作向けのモーションキャプチャを試作する。
- 同じ動画に対する複数の姿勢推定モデルの出力を比較する。
クイックスタート
- 1
Git for Windowsをインストールして、リポジトリをcloneします
git clone https://github.com/toyxyz/toyxyz_RGBMocap.git - 2
プロジェクトフォルダーに移動します
cd toyxyz_RGBMocap - 3
ランタイムと依存関係を準備します
install.cmd - 4
アプリを起動し、コンソールを開いたままにします
RGBMoCap.cmd
使う前に知っておきたいこと
- Windows専用です。64-bit版Windowsと、OpenGL 4.3に対応したNVIDIA GPUが必要です。
- インストールしたモデルとランタイムには、約63 GiBのディスク容量が必要です。
- 一部のAIモデルファイルは、アカウント登録と手動ダウンロードが必要です。
- オプションのMAMMAおよびPromptHMRランタイムには、Visual Studio C++ Build ToolsとCUDA Toolkit 12.8が必要です。
収録されている特集
トピック
よくある質問
- toyxyz_RGBMocap とは?
- 動画を編集可能な人間のモーションに変換するWindowsネイティブアプリ。AI姿勢推定モデルをローカルで実行し、FBXまたはVMDに書き出せます。 RGB MoCapは、一般的な動画から人間の動きを再構成するWindowsデスクトップアプリです。複数のAIモーションキャプチャモデル(ExMR、FlowHMR、GVHMR、MAMMA、PromptHMR)をNVIDIA GPU上でローカル実行できるため、書き出し前に3Dプレビューで結果を確認できます。
- toyxyz_RGBMocap は無料で使えますか?ライセンスは?
- toyxyz_RGBMocap は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- toyxyz_RGBMocap は今もメンテナンスされていますか?
- 活発にメンテナンス中。toyxyz_RGBMocap の最終コミットは 2026年11月7日 です。
- toyxyz_RGBMocap は何に使えますか?
- 参考映像をUnity、Blender、またはゲームのキャラクター用アニメーションに変換する。 PMXキャラクターとVMD書き出しを使い、動画からMMDのダンスモーションを作成する。 専用のモーションキャプチャスタジオを使わずに、アニメーション制作向けのモーションキャプチャを試作する。 同じ動画に対する複数の姿勢推定モデルの出力を比較する。
- toyxyz_RGBMocap のインストール方法は?
- Git for Windowsをインストールして、リポジトリをcloneします: git clone https://github.com/toyxyz/toyxyz_RGBMocap.git プロジェクトフォルダーに移動します: cd toyxyz_RGBMocap ランタイムと依存関係を準備します: install.cmd アプリを起動し、コンソールを開いたままにします: RGBMoCap.cmd
- toyxyz_RGBMocap はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/toyxyz/toyxyz_RGBMocap
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
動画や静止画の人物の動きをAdobe Mixamoリグの3Dキャラクターにリターゲットし、スキン付きの.glbファイルとして出力します。
複数カメラの映像を記録し、人の動きを3D再構成する無料のオープンソース・マーカーレスモーションキャプチャシステム。
OpenAIのWhisper音声認識をWindows向けに移植したC++実装。DirectCompute経由でDirect3D 11 GPU上で推論を実行します。
three.js風API、OpenGLおよびVulkanバックエンド、Pythonバインディング、物理・センサーシミュレーションを備えたクロスプラットフォームのC++20 3Dライブラリ。
単眼動画から物理的に妥当な3D人物動作を再構成する生成モデル、FlowHMRの公式実装。