Repolode
投稿する
hi3d-official

hi3d-official/Hi3Dv1.0

参照画像を手がかりに粗い3Dメッシュを高解像度ジオメトリへと精細化する、オープンソースの推論コードとモデルウェイト。

GitHub で見る公式サイト
スター
238
フォーク
17
未解決の Issue
0
最終コミット
一昨日

これは何？

Hi3D v1.0は、粗いメッシュと同じオブジェクトの参照画像を入力として、精細な高解像度メッシュを生成します。Sparc3Dの疎表現を基盤としており、疎な潜在表現を段階的にサンプリングし、疎なVAEでデコードしてメッシュを抽出する処理を、最大3パス繰り返します。

出力解像度は512、1024、1536に対応し、1536では3パスすべてを実行します。出力はジオメトリのみで、テクスチャやマテリアルは含まれません。PythonからはSparc3DPipelineクラスを使い、Hugging Faceからモデルを読み込めます。また、コマンドラインスクリプトを使えば、粗いメッシュを生成するモデルに依存せず、既存のメッシュを精細化できます。

推論にはLinux、Python 3.10、Compute Capability 8.0以上のNVIDIA GPUが必要で、CPUでの実行には対応していません。このリポジトリには学習コードや評価ツールは含まれていません。

主な機能

  • 01同じオブジェクトの参照画像を使って、粗いメッシュを精細化します。
  • 02解像度512、1024、1536の高解像度ジオメトリを出力します。
  • 03Hugging Faceまたはローカルディレクトリからモデルウェイトを直接読み込みます。
  • 04メッシュ精細化用のPython APIとコマンドラインスクリプトを提供します。
  • 05逐次的なCPUオフロードと、各ステップの進捗コールバックに対応しています。

ユースケース

  • 3D生成モデルが作成したメッシュに、より細かな表面ディテールを加える。
  • 参照写真を使って、ローポリモデルや粗いモデルを精細化する。
  • 3Dアセットのパイプラインで既存メッシュを一括処理する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/hi3d-official/Hi3Dv1.0.git
  2. 2

    プロジェクトディレクトリに移動する

    cd Hi3Dv1.0
  3. 3

    CUDA 12.4対応のPyTorchをインストールする（その後、READMEの説明に従ってflash-attnをインストールする）

    pip install torch==2.5.0+cu124 torchvision==0.20.0+cu124 --extra-index-url https://download.pytorch.org/whl/cu124
  4. 4

    inferenceエクストラを指定して、ソースからプロジェクトをインストールする

    pip install -c docker/constraints.txt -e ".[inference]"

使う前に知っておきたいこと

  • Linuxと、compute capability 8.0以上のNVIDIA GPUが必要です。CPUでの推論には対応していません。
  • 解像度1536は96 GBのNVIDIA H20でのみ検証されており、それより小さいGPUでの動作は未検証です。
  • 商用利用は独自のHi3D Open Licenseの条件下でのみ許可されます。このライセンスにはユーザー数と収益のしきい値、およびブランド表示の要件があります。
  • インストール方法はソースからのみで、PyPIでのリリースはありません。また、対応するCUDA Toolkitとflash-attnのビルドが必要です。

トピック

#3d-generation#geometry-refinement#image-to-3d#sparse-representation#pytorch#mesh#sparc3d

よくある質問

Hi3Dv1.0 とは？
参照画像を手がかりに粗い3Dメッシュを高解像度ジオメトリへと精細化する、オープンソースの推論コードとモデルウェイト。 Hi3D v1.0は、粗いメッシュと同じオブジェクトの参照画像を入力として、精細な高解像度メッシュを生成します。Sparc3Dの疎表現を基盤としており、疎な潜在表現を段階的にサンプリングし、疎なVAEでデコードしてメッシュを抽出する処理を、最大3パス繰り返します。
Hi3Dv1.0 は無料で使えますか？ライセンスは？
Hi3Dv1.0 は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Hi3Dv1.0 は今もメンテナンスされていますか？
活発にメンテナンス中。Hi3Dv1.0 の最終コミットは 2026年10月23日 です。
Hi3Dv1.0 は何に使えますか？
3D生成モデルが作成したメッシュに、より細かな表面ディテールを加える。 参照写真を使って、ローポリモデルや粗いモデルを精細化する。 3Dアセットのパイプラインで既存メッシュを一括処理する。
Hi3Dv1.0 のインストール方法は？
リポジトリをクローンする: git clone https://github.com/hi3d-official/Hi3Dv1.0.git プロジェクトディレクトリに移動する: cd Hi3Dv1.0 CUDA 12.4対応のPyTorchをインストールする（その後、READMEの説明に従ってflash-attnをインストールする）: pip install torch==2.5.0+cu124 torchvision==0.20.0+cu124 --extra-index-url https://download.pytorch.org/whl/cu124 inferenceエクストラを指定して、ソースからプロジェクトをインストールする: pip install -c docker/constraints.txt -e ".[inference]"
Hi3Dv1.0 はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/hi3d-official/Hi3Dv1.0

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト