画像とGPS座標を対応付け、世界規模の画像ジオローカライゼーションを行う、GeoCLIPのPyTorch実装です。
- スター
- 886
- フォーク
- 98
- 未解決の Issue
- 5
- 最終コミット
- 7 日前
これは何?
CorridorKey 2.0は、グリーン/ブルースクリーン映像向けの動画キーイングモデルです。各フレームのアルファマットとクリーンな前景色を予測し、ヒントなし、最初のフレームのマットをヒントとして指定、または全フレーム分のヒント動画を指定して実行できます。
このリポジトリには、コマンドラインツール(infer.py)を使うPython推論パイプラインと、WindowsおよびLinux向けの、ガイドに沿ってドラッグ&ドロップで操作できるランチャーが含まれています。出力には、マットのプレビュー、前景のプレビュー、チェッカーボード表示の確認用レンダー、スピル除去を調整できる切り抜き画像があります。出力形式はffmpegでエンコードした動画、またはクリップされていないHDR値を保持するOpenEXR画像シーケンスを選べます。入力には動画ファイルのほか、linear EXRを含むフレームディレクトリを指定できます。
実行には、CUDA対応PyTorchを搭載したNVIDIA GPUと、PATHが通ったffmpegが必要です。長尺クリップやVRAMの少ないGPUでのメモリ使用量は、Hannウィンドウサイズとlow-VRAMモードによって管理されます。モデルとコードは非商用ライセンスに類するライセンスと追加条項のもとで公開されているため、商用利用の前にライセンスを確認してください。
主な機能
- 01グリーンまたはブルースクリーンの動画からアルファマットと前景色を生成します。
- 02ヒントなし、最初のフレームのマット、または全フレーム分のヒント動画を指定できます。
- 03クリップされていないHDR値を保持した、ffmpeg動画プレビューまたはOpenEXRシーケンスを出力します。
- 04チェッカーボード表示の確認用出力と、スピル除去を調整できる切り抜き出力が含まれます。
- 05GPUメモリに応じて、時間方向のウィンドウサイズとlow-VRAMモードを自動選択します。
ユースケース
- VFXやコンポジットのパイプラインで、グリーン/ブルースクリーンのショットをキーイングする。
- 最終コンポジット前の確認用レンダーに使うマットを生成する。
- HDRコンポジットのワークフローでlinear EXRの素材を処理する。
- コマンドラインからクリップの入ったフォルダを一括キーイングする。
クイックスタート
- 1
Python仮想環境を作成する
python -m venv venv - 2
仮想環境を有効化する
source venv/bin/activate - 3
CUDA対応のPyTorchと残りの依存関係をインストールする
pip install torch==2.9.1 torchvision==0.24.1 --index-url https://download.pytorch.org/whl/cu128 && pip install -r requirements.txt - 4
モデルの重み(約5 GB)をダウンロードし、動画クリップで推論を実行する
python scripts/download_weights.py
使う前に知っておきたいこと
- VRAMが4 GB以上のNVIDIA GPUが必要です(RTX 30シリーズ以降を推奨)。
- PATH上にffmpegがあり、CUDA対応のPyTorch環境が必要です。
- ダウンロードするモデルの重みは約5 GBです。
収録されている特集
トピック
よくある質問
- CorridorKey2.0 とは?
- NVIDIA GPUを使ってPythonから実行できる、動画からアルファマットと前景色を生成するAIグリーン/ブルースクリーンキーイングモデル。 CorridorKey 2.0は、グリーン/ブルースクリーン映像向けの動画キーイングモデルです。各フレームのアルファマットとクリーンな前景色を予測し、ヒントなし、最初のフレームのマットをヒントとして指定、または全フレーム分のヒント動画を指定して実行できます。
- CorridorKey2.0 は無料で使えますか?ライセンスは?
- CorridorKey2.0 は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- CorridorKey2.0 は今もメンテナンスされていますか?
- 活発にメンテナンス中。CorridorKey2.0 の最終コミットは 2026年10月15日 です。
- CorridorKey2.0 は何に使えますか?
- VFXやコンポジットのパイプラインで、グリーン/ブルースクリーンのショットをキーイングする。 最終コンポジット前の確認用レンダーに使うマットを生成する。 HDRコンポジットのワークフローでlinear EXRの素材を処理する。 コマンドラインからクリップの入ったフォルダを一括キーイングする。
- CorridorKey2.0 のインストール方法は?
- Python仮想環境を作成する: python -m venv venv 仮想環境を有効化する: source venv/bin/activate CUDA対応のPyTorchと残りの依存関係をインストールする: pip install torch==2.9.1 torchvision==0.24.1 --index-url https://download.pytorch.org/whl/cu128 && pip install -r requirements.txt モデルの重み(約5 GB)をダウンロードし、動画クリップで推論を実行する: python scripts/download_weights.py
- CorridorKey2.0 はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/nikopueringer/CorridorKey2.0
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Microsoftによる12週間・全24レッスンの初学者向けAIカリキュラム。記号AI、ニューラルネットワーク、コンピュータービジョン、NLP、倫理を扱い、PyTorchとTensorFlowのノートブックを提供します。
PyTorch関連のライブラリ、モデル、実装、チュートリアル、論文をまとめたGitHub上の厳選リンク集。
OpenCVは、複数の言語向けバインディングを備えた、画像処理とコンピュータビジョンのアルゴリズムを提供するオープンソースのC++ライブラリです。
画像からテキストを抽出するオープンソースのOCRエンジン(libtesseract)とコマンドラインツール。LSTMベースの認識に対応し、100以上の言語を扱えます。
モバイル、Web、デスクトップ、IoT上でビジョン・音声・テキストモデルを実行する、クロスプラットフォームのフレームワークとすぐに使えるMLソリューション。