Repolode
apple-aiml-research

apple-aiml-research/ml-sharp

Appleの研究コード。1枚の写真から1秒未満で3D Gaussianシーンを生成し、近傍の新しい視点からレンダリングできます。

スター
8,989
フォーク
652
未解決の Issue
76
最終コミット
先月

これは何?

SHARPはAppleの研究プロジェクトで、単眼視点合成を行います。写真を1枚入力すると、ニューラルネットワークの単一のフィードフォワードパスで、写っているシーンを表す3D Gaussianのパラメーターを予測します。標準的なGPUでは1秒未満で処理できます。

生成されたGaussianシーンはリアルタイムでレンダリングでき、近傍のカメラ視点から高解像度画像を生成できます。この表現は絶対スケールを持つメートル法スケールのため、カメラの移動を実際の単位で指定できます。出力は3DGSの`.ply`ファイルとして保存されます。プロジェクトによると、OpenCVの座標系規約に従っており、公開されているさまざまな3DGSレンダラーと互換性があります。

プロジェクトには、`predict`と`render`サブコマンドを備えた`sharp`コマンドラインツールが用意されています。予測はCPU、CUDA、MPSで実行できますが、カメラ軌道の動画をレンダリングするには現時点でCUDA GPUが必要です。モデルのチェックポイントは初回実行時に自動でダウンロードされます。

主な機能

  • 011枚の画像から単一のフィードフォワードパスで3D Gaussianシーンを生成します。
  • 02標準的なGPUで1秒未満で実行できます。
  • 03メートル法スケールの表現を生成し、実際の単位でのカメラ移動に対応します。
  • 04公開レンダラーと互換性のある標準的な3DGSの`.ply`ファイルを出力します。
  • 05カメラ軌道の動画をリアルタイムでレンダリングします(CUDA GPUが必要)。

ユースケース

  • 1枚の写真から、近傍の視点で見て回れる3Dシーンを作成する。
  • 複数視点の撮影を行わずに、3D Gaussian splattingのパイプラインを試作する。
  • 静止画像からカメラのフライスルー動画を生成する。

クイックスタート

  1. 1

    Python環境を作成する

    conda create -n sharp python=3.13
  2. 2

    プロジェクトの依存関係をインストールする

    pip install -r requirements.txt
  3. 3

    インストールをテストする

    sharp --help
  4. 4

    入力画像に対して予測を実行する(チェックポイントは初回実行時に自動でダウンロードされます)

    sharp predict -i /path/to/input/images -o /path/to/output/gaussians

使う前に知っておきたいこと

  • --renderオプションで動画をレンダリングするには、CUDA GPUが必要です。
  • READMEにはソフトウェアライセンスが記載されていません。使用前にLICENSEファイルとLICENSE_MODELファイルを確認してください。

トピック

よくある質問

ml-sharp とは?
Appleの研究コード。1枚の写真から1秒未満で3D Gaussianシーンを生成し、近傍の新しい視点からレンダリングできます。 SHARPはAppleの研究プロジェクトで、単眼視点合成を行います。写真を1枚入力すると、ニューラルネットワークの単一のフィードフォワードパスで、写っているシーンを表す3D Gaussianのパラメーターを予測します。標準的なGPUでは1秒未満で処理できます。
ml-sharp は無料で使えますか?ライセンスは?
ml-sharp は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ml-sharp は今もメンテナンスされていますか?
半年以内に更新あり。ml-sharp の最終コミットは 2026年9月11日 です。
ml-sharp は何に使えますか?
1枚の写真から、近傍の視点で見て回れる3Dシーンを作成する。 複数視点の撮影を行わずに、3D Gaussian splattingのパイプラインを試作する。 静止画像からカメラのフライスルー動画を生成する。
ml-sharp のインストール方法は?
Python環境を作成する: conda create -n sharp python=3.13 プロジェクトの依存関係をインストールする: pip install -r requirements.txt インストールをテストする: sharp --help 入力画像に対して予測を実行する(チェックポイントは初回実行時に自動でダウンロードされます): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
ml-sharp はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/apple-aiml-research/ml-sharp

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト