Repolode
toyxyz

toyxyz/toyxyz_RGBMocap

動画を編集可能な人間のモーションに変換するWindowsネイティブアプリ。AI姿勢推定モデルをローカルで実行し、FBXまたはVMDに書き出せます。

代替できる製品:Rokoko Vision

スター
866
フォーク
116
未解決の Issue
5
最終コミット
22 時間前

これは何?

RGB MoCapは、一般的な動画から人間の動きを再構成するWindowsデスクトップアプリです。複数のAIモーションキャプチャモデル(ExMR、FlowHMR、GVHMR、MAMMA、PromptHMR)をNVIDIA GPU上でローカル実行できるため、書き出し前に3Dプレビューで結果を確認できます。

再構成後は、接地タイミングを編集して足や手のひらの接触を補正し、滑りを軽減できます。モーションはMixamo FBX、VRM、PMXの人型キャラクターにリターゲットでき、FBXまたはMMD用のVMDとして書き出せます。プロジェクトではAIモデルごとに結果が個別に保存されます。

セットアップはスクリプト(install.cmd、RGBMoCap.cmd)と、モデルの重みをダウンロードするModel Managerで行います。一部のモデルではアカウント登録とライセンスへの同意が必要で、すべてのモデルをそろえるには数十GBのディスク容量が必要です。

主な機能

  • 011人または複数人の動きを再構成し、ボディメッシュとボーンをプレビューできます。
  • 02接地タイミングを編集して、足や手のひらの接触時の滑りを補正できます。
  • 03モーションをMixamo FBX、VRM、PMXの人型キャラクターにリターゲットできます。
  • 04アニメーションをFBXで、またはPMXキャラクターのモーションをMMD用のVMDで書き出せます。
  • 05MAMMAモデルによるマルチカメラ撮影に対応しています。

ユースケース

  • 参考映像をUnity、Blender、またはゲームのキャラクター用アニメーションに変換する。
  • PMXキャラクターとVMD書き出しを使い、動画からMMDのダンスモーションを作成する。
  • 専用のモーションキャプチャスタジオを使わずに、アニメーション制作向けのモーションキャプチャを試作する。
  • 同じ動画に対する複数の姿勢推定モデルの出力を比較する。

クイックスタート

  1. 1

    Git for Windowsをインストールして、リポジトリをcloneします

    git clone https://github.com/toyxyz/toyxyz_RGBMocap.git
  2. 2

    プロジェクトフォルダーに移動します

    cd toyxyz_RGBMocap
  3. 3

    ランタイムと依存関係を準備します

    install.cmd
  4. 4

    アプリを起動し、コンソールを開いたままにします

    RGBMoCap.cmd

使う前に知っておきたいこと

  • Windows専用です。64-bit版Windowsと、OpenGL 4.3に対応したNVIDIA GPUが必要です。
  • インストールしたモデルとランタイムには、約63 GiBのディスク容量が必要です。
  • 一部のAIモデルファイルは、アカウント登録と手動ダウンロードが必要です。
  • オプションのMAMMAおよびPromptHMRランタイムには、Visual Studio C++ Build ToolsとCUDA Toolkit 12.8が必要です。

収録されている特集

トピック

よくある質問

toyxyz_RGBMocap とは?
動画を編集可能な人間のモーションに変換するWindowsネイティブアプリ。AI姿勢推定モデルをローカルで実行し、FBXまたはVMDに書き出せます。 RGB MoCapは、一般的な動画から人間の動きを再構成するWindowsデスクトップアプリです。複数のAIモーションキャプチャモデル(ExMR、FlowHMR、GVHMR、MAMMA、PromptHMR)をNVIDIA GPU上でローカル実行できるため、書き出し前に3Dプレビューで結果を確認できます。
toyxyz_RGBMocap は無料で使えますか?ライセンスは?
toyxyz_RGBMocap は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
toyxyz_RGBMocap は今もメンテナンスされていますか?
活発にメンテナンス中。toyxyz_RGBMocap の最終コミットは 2026年11月7日 です。
toyxyz_RGBMocap は何に使えますか?
参考映像をUnity、Blender、またはゲームのキャラクター用アニメーションに変換する。 PMXキャラクターとVMD書き出しを使い、動画からMMDのダンスモーションを作成する。 専用のモーションキャプチャスタジオを使わずに、アニメーション制作向けのモーションキャプチャを試作する。 同じ動画に対する複数の姿勢推定モデルの出力を比較する。
toyxyz_RGBMocap のインストール方法は?
Git for Windowsをインストールして、リポジトリをcloneします: git clone https://github.com/toyxyz/toyxyz_RGBMocap.git プロジェクトフォルダーに移動します: cd toyxyz_RGBMocap ランタイムと依存関係を準備します: install.cmd アプリを起動し、コンソールを開いたままにします: RGBMoCap.cmd
toyxyz_RGBMocap はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/toyxyz/toyxyz_RGBMocap

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト