Repolode
投稿する
speridlabs

speridlabs/idol-sdk

1枚の画像から、見えない面も生成した3D Gaussian splatモデルを作成できる推論SDKとデモ。

GitHub で見る
スター
863
フォーク
83
未解決の Issue
1
最終コミット
9 日前

これは何？

Idolは、レンダリング画像、生成画像、写真など、オブジェクトの画像を1枚入力すると、標準的な3DGS .ply形式の3D Gaussian splatを生成する推論SDKです。BiRefNetで背景を除去し、オブジェクトを切り抜いてフレーミングした後、入力画像では見えない面も含めて32,768〜1,048,576個のGaussianを生成します。

モデルは、DINOv3とFLUX.2 VAEの特徴量で条件付けされた3億7,000万パラメーターのdiffusion transformerで、デコーダーは別途用意されています。推論には、合成画像モードまたは実写モードを備えたコマンドラインツールか、Hugging Faceから重みを読み込むPython APIを利用できます。実行するたびに、.plyファイル、前処理済みの入力画像、予測したカメラ情報のJSONが出力されます。

リポジトリには、GPU上でローカル実行できるGradioデモがdemo/に含まれています。重みへのアクセスは制限されているため、初回使用前にHugging Face上のDINOv3およびFLUX.2-devリポジトリへのアクセスを申請する必要があります。

主な機能

  • 011枚の画像から最大1,048,576個のGaussianを生成します。
  • 02あらゆるGaussian splat viewerで表示できる標準的な3DGS .plyファイルを出力します。
  • 03背景除去とオブジェクトの切り抜きを自動で行います。
  • 04合成画像モードと実写モードを個別に用意しています。
  • 05コマンドラインツール、Python API、ローカルで実行できるGradioデモを提供します。
  • 06flash-attnがインストールされている場合はこれを使用し、利用できない場合はPyTorch SDPAにフォールバックします。

ユースケース

  • 商品レンダリング画像や生成画像を、viewerで表示する3Dアセットに変換する。
  • 実世界の写真1枚から3Dオブジェクトを再構築する。
  • 一般向けGPUで画像から3Dを生成するパイプラインのプロトタイプを作成する。

クイックスタート

  1. 1

    pip でパッケージをインストールする（Python 3.10+、PyTorch 2.5+）

    pip install -e .
  2. 2

    Hugging Face でアクセス制限付きの DINOv3 と FLUX.2-dev モデルへのアクセスを申請し、ログインする

    hf auth login
  3. 3

    写真に対して推論を実行する

    python -m idol.sample --image photo.jpg --mode real

使う前に知っておきたいこと

  • Hugging Face のアクセス制限付き DINOv3 と FLUX.2-dev モデルへのアクセス承認が必要です。
  • 実用的な速度で動作させるにはローカル GPU が必要です。性能の低い GPU では、リクエストに 1 分近くかかることがあります。
  • リクエストごとにピーク時で約 7.2 GB の VRAM を使用します。

収録されている特集

コンピュータービジョンのライブラリとツール

トピック

#3d-gaussian-splatting#image-to-3d#diffusion#computer-vision#pytorch#gradio

よくある質問

idol-sdk とは？
1枚の画像から、見えない面も生成した3D Gaussian splatモデルを作成できる推論SDKとデモ。 Idolは、レンダリング画像、生成画像、写真など、オブジェクトの画像を1枚入力すると、標準的な3DGS .ply形式の3D Gaussian splatを生成する推論SDKです。BiRefNetで背景を除去し、オブジェクトを切り抜いてフレーミングした後、入力画像では見えない面も含めて32,768〜1,048,576個のGaussianを生成します。
idol-sdk は無料で使えますか？ライセンスは？
idol-sdk は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
idol-sdk は今もメンテナンスされていますか？
活発にメンテナンス中。idol-sdk の最終コミットは 2026年10月29日 です。
idol-sdk は何に使えますか？
商品レンダリング画像や生成画像を、viewerで表示する3Dアセットに変換する。 実世界の写真1枚から3Dオブジェクトを再構築する。 一般向けGPUで画像から3Dを生成するパイプラインのプロトタイプを作成する。
idol-sdk のインストール方法は？
pip でパッケージをインストールする（Python 3.10+、PyTorch 2.5+）: pip install -e . Hugging Face でアクセス制限付きの DINOv3 と FLUX.2-dev モデルへのアクセスを申請し、ログインする: hf auth login 写真に対して推論を実行する: python -m idol.sample --image photo.jpg --mode real
idol-sdk はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/speridlabs/idol-sdk

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

Supra-3D / SUPRA-Tex

1枚の画像からベースカラー、メタリック、ラフネスのマップを備えた、再ライティング可能なテクスチャ付き3Dアセット（GLB）を生成し、既存メッシュへのテクスチャ適用にも対応します。

AI・機械学習#3d-generation#pbr#texture-generation
683+34 今週35PythonMIT更新 9 日前