flowhmr/flowhmr

これは何？

主な機能

• 01フローマッチングモデルを使い、単眼動画から3D人物動作を生成します。
• 02GRPOによる追加学習では、PHC+物理制御器を報酬に用いて、追従可能な動作を促します。
• 03人物検出、カメラ推定、人体特徴抽出を行うCLI推論パイプラインを備えています。
• 04動画をアップロードして再構成した動作をプレビューできる、ブラウザベースのWebデモを提供します。
• 05動作を.npz形式でエクスポートでき、オプションで.fbx形式にも対応します。

ユースケース

• 一般的なスマートフォンやWebカメラの動画から、物理的に妥当なキャラクター動作を抽出する。
• 単眼モーションキャプチャや物理ベースの動作追跡に関する研究に活用する。
• 付属のレンダリングツールキットを使い、SMPL-H動作データから学習用の合成動画を生成する。

クイックスタート

1. 1

   インストールガイドに従って、V2M セットアップで FlowHMR をインストールします

2. 2

   推論ガイドに従って、動画で FlowHMR を実行します

使う前に知っておきたいこと

• !SMPL 系の人体モデル、VGGT-Omega、SAM 3D Body など、ライセンスへの同意またはアクセス許可が必要な制限付きアセットが必要です。
• !パイプライン全体を実行するには、GRPO の追加学習用に、古いバージョンの Python と PyTorch を使用する独立した Isaac Gym 環境が必要です。
• !学習データは同梱されていないため、ユーザー自身で用意する必要があります。

収録されている特集

トピック

よくある質問

flowhmr とは？

単眼動画から物理的に妥当な3D人物動作を再構成する生成モデル、FlowHMRの公式実装。 FlowHMRは、単眼カメラの動画から3D人物動作を再構成します。動作シーケンスを生成するフローマッチングモデルであり、学習後に物理ベースのヒューマノイド制御器（PHC+）がシミュレーション内で追従できる動作に報酬を与えるため、入力に見た目が近いだけでなく、物理的にも妥当な出力が得られやすくなっています。

flowhmr は無料で使えますか？ライセンスは？

flowhmr は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

flowhmr は今もメンテナンスされていますか？

活発にメンテナンス中。flowhmr の最終コミットは 2026年11月2日 です。

flowhmr は何に使えますか？

一般的なスマートフォンやWebカメラの動画から、物理的に妥当なキャラクター動作を抽出する。 単眼モーションキャプチャや物理ベースの動作追跡に関する研究に活用する。 付属のレンダリングツールキットを使い、SMPL-H動作データから学習用の合成動画を生成する。

flowhmr のインストール方法は？

インストールガイドに従って、V2M セットアップで FlowHMR をインストールします 推論ガイドに従って、動画で FlowHMR を実行します

flowhmr はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/flowhmr/flowhmr