機械学習モデルの構築からデプロイまでを支える、Python APIとC++ APIを備えたオープンソースのエンドツーエンドプラットフォーム。
apple-aiml-research/ml-sharp
Appleの研究コード。1枚の写真から1秒未満で3D Gaussianシーンを生成し、近傍の新しい視点からレンダリングできます。
- スター
- 8,989
- フォーク
- 652
- 未解決の Issue
- 76
- 最終コミット
- 先月
これは何?
SHARPはAppleの研究プロジェクトで、単眼視点合成を行います。写真を1枚入力すると、ニューラルネットワークの単一のフィードフォワードパスで、写っているシーンを表す3D Gaussianのパラメーターを予測します。標準的なGPUでは1秒未満で処理できます。
生成されたGaussianシーンはリアルタイムでレンダリングでき、近傍のカメラ視点から高解像度画像を生成できます。この表現は絶対スケールを持つメートル法スケールのため、カメラの移動を実際の単位で指定できます。出力は3DGSの`.ply`ファイルとして保存されます。プロジェクトによると、OpenCVの座標系規約に従っており、公開されているさまざまな3DGSレンダラーと互換性があります。
プロジェクトには、`predict`と`render`サブコマンドを備えた`sharp`コマンドラインツールが用意されています。予測はCPU、CUDA、MPSで実行できますが、カメラ軌道の動画をレンダリングするには現時点でCUDA GPUが必要です。モデルのチェックポイントは初回実行時に自動でダウンロードされます。
主な機能
- 011枚の画像から単一のフィードフォワードパスで3D Gaussianシーンを生成します。
- 02標準的なGPUで1秒未満で実行できます。
- 03メートル法スケールの表現を生成し、実際の単位でのカメラ移動に対応します。
- 04公開レンダラーと互換性のある標準的な3DGSの`.ply`ファイルを出力します。
- 05カメラ軌道の動画をリアルタイムでレンダリングします(CUDA GPUが必要)。
ユースケース
- 1枚の写真から、近傍の視点で見て回れる3Dシーンを作成する。
- 複数視点の撮影を行わずに、3D Gaussian splattingのパイプラインを試作する。
- 静止画像からカメラのフライスルー動画を生成する。
クイックスタート
- 1
Python環境を作成する
conda create -n sharp python=3.13 - 2
プロジェクトの依存関係をインストールする
pip install -r requirements.txt - 3
インストールをテストする
sharp --help - 4
入力画像に対して予測を実行する(チェックポイントは初回実行時に自動でダウンロードされます)
sharp predict -i /path/to/input/images -o /path/to/output/gaussians
使う前に知っておきたいこと
- --renderオプションで動画をレンダリングするには、CUDA GPUが必要です。
- READMEにはソフトウェアライセンスが記載されていません。使用前にLICENSEファイルとLICENSE_MODELファイルを確認してください。
トピック
よくある質問
- ml-sharp とは?
- Appleの研究コード。1枚の写真から1秒未満で3D Gaussianシーンを生成し、近傍の新しい視点からレンダリングできます。 SHARPはAppleの研究プロジェクトで、単眼視点合成を行います。写真を1枚入力すると、ニューラルネットワークの単一のフィードフォワードパスで、写っているシーンを表す3D Gaussianのパラメーターを予測します。標準的なGPUでは1秒未満で処理できます。
- ml-sharp は無料で使えますか?ライセンスは?
- ml-sharp は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- ml-sharp は今もメンテナンスされていますか?
- 半年以内に更新あり。ml-sharp の最終コミットは 2026年9月11日 です。
- ml-sharp は何に使えますか?
- 1枚の写真から、近傍の視点で見て回れる3Dシーンを作成する。 複数視点の撮影を行わずに、3D Gaussian splattingのパイプラインを試作する。 静止画像からカメラのフライスルー動画を生成する。
- ml-sharp のインストール方法は?
- Python環境を作成する: conda create -n sharp python=3.13 プロジェクトの依存関係をインストールする: pip install -r requirements.txt インストールをテストする: sharp --help 入力画像に対して予測を実行する(チェックポイントは初回実行時に自動でダウンロードされます): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
- ml-sharp はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apple-aiml-research/ml-sharp
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Microsoft発のAI指向のクオンツ投資プラットフォーム。データ処理、モデル学習、バックテストから注文執行までをカバーします。
CLI、Pythonライブラリ、HTTPサーバー、Dockerで使える画像背景除去ツール。
LLMとコンピュータビジョンを使ってあらゆるサイトのWebワークフローを実行するオープンソースのブラウザ自動化ツール。PlaywrightにAIコマンドを追加します。
コードブック検索トランスフォーマーで、ぼやけた低画質・破損した写真や動画の顔を復元するPythonツール。
高解像度の二値画像セグメンテーション向け深層学習モデルBiRefNetの公式PyTorch実装。背景除去によく使われます。