Реализация GeoCLIP на PyTorch: модель в стиле CLIP, которая сопоставляет изображения с GPS-координатами для геолокализации фотографий по всему миру.
- Звёзды
- 886
- Форки
- 98
- Открытые issues
- 5
- Последний коммит
- 7 дней назад
Что это?
CorridorKey 2.0 — модель для кеинга видео с зелёным или синим фоном. Для каждого кадра она предсказывает альфа-матту и очищенный цвет переднего плана. Модель может работать без подсказки, с подсказкой в виде матты для первого кадра или с видео подсказок для всех кадров.
В репозитории есть Python-пайплайн инференса с CLI-инструментом (infer.py) и пошаговым лаунчером с перетаскиванием файлов для Windows и Linux. Среди выходных материалов — превью матты и переднего плана, проверочный рендер с шахматным фоном и вырезанный объект с настройкой подавления цветового ореола (despill). Результат можно сохранить в виде видео, закодированного через ffmpeg, или последовательности изображений OpenEXR без отсечения HDR-значений. На вход принимаются видеофайлы и папки с кадрами, в том числе в линейном EXR.
Для работы кода необходимы GPU NVIDIA с PyTorch, собранным с поддержкой CUDA, и ffmpeg в PATH. Потребление памяти регулируется размером окон Hann и режимом low-VRAM, предназначенным для длинных роликов и видеокарт с небольшим объёмом памяти. Модель и код распространяются по лицензии некоммерческого типа с дополнительными условиями, поэтому перед коммерческим использованием ознакомьтесь с лицензией.
Ключевые возможности
- 01Создаёт альфа-матты и цвет переднего плана для видео с зелёным или синим фоном.
- 02Работает без подсказки, с подсказкой в виде матты для первого кадра или с видео подсказок для всех кадров.
- 03Сохраняет превью в виде видео через ffmpeg или последовательности OpenEXR без отсечения HDR-значений.
- 04Создаёт проверочные рендеры с шахматным фоном и вырезанные объекты с настройкой подавления цветового ореола (despill).
- 05Автоматически выбирает размер временного окна и режим low-VRAM с учётом объёма памяти GPU.
Сценарии использования
- Кеинг кадров с зелёным или синим фоном в VFX- и композитинг-пайплайнах.
- Создание матт для проверочных рендеров перед финальным композитингом.
- Обработка линейных EXR-плейтов для HDR-композитинга.
- Пакетный кеинг роликов из папки через командную строку.
Быстрый старт
- 1
Создайте виртуальное окружение Python
python -m venv venv - 2
Активируйте виртуальное окружение
source venv/bin/activate - 3
Установите PyTorch с поддержкой CUDA и остальные зависимости
pip install torch==2.9.1 torchvision==0.24.1 --index-url https://download.pytorch.org/whl/cu128 && pip install -r requirements.txt - 4
Скачайте веса модели (около 5 ГБ) и запустите инференс на видеоклипе
python scripts/download_weights.py
Что важно знать
- Требуется видеокарта NVIDIA как минимум с 4 ГБ видеопамяти (рекомендуется RTX 30-й серии или новее).
- В PATH должен быть ffmpeg, а PyTorch должен поддерживать CUDA.
- Для скачивания потребуется около 5 ГБ весов модели.
В подборках
Темы
Частые вопросы
- Что такое CorridorKey2.0?
- Модель на базе ИИ для кеинга по зелёному и синему фону: создаёт альфа-матты и цвет переднего плана из видео, запускается на Python с GPU NVIDIA. CorridorKey 2.0 — модель для кеинга видео с зелёным или синим фоном. Для каждого кадра она предсказывает альфа-матту и очищенный цвет переднего плана. Модель может работать без подсказки, с подсказкой в виде матты для первого кадра или с видео подсказок для всех кадров.
- CorridorKey2.0 можно использовать бесплатно? Какая у него лицензия?
- CorridorKey2.0 распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- CorridorKey2.0 всё ещё поддерживается?
- Активно поддерживается. Последний коммит в CorridorKey2.0 — 15 окт. 2026 г..
- Для чего можно использовать CorridorKey2.0?
- Кеинг кадров с зелёным или синим фоном в VFX- и композитинг-пайплайнах. Создание матт для проверочных рендеров перед финальным композитингом. Обработка линейных EXR-плейтов для HDR-композитинга. Пакетный кеинг роликов из папки через командную строку.
- Как установить CorridorKey2.0?
- Создайте виртуальное окружение Python: python -m venv venv Активируйте виртуальное окружение: source venv/bin/activate Установите PyTorch с поддержкой CUDA и остальные зависимости: pip install torch==2.9.1 torchvision==0.24.1 --index-url https://download.pytorch.org/whl/cu128 && pip install -r requirements.txt Скачайте веса модели (около 5 ГБ) и запустите инференс на видеоклипе: python scripts/download_weights.py
- Где скачать CorridorKey2.0?
- Исходный код и инструкции по установке — на GitHub: https://github.com/nikopueringer/CorridorKey2.0
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Учебная программа Microsoft по ИИ для начинающих: 12 недель и 24 урока о символическом ИИ, нейросетях, компьютерном зрении, NLP и этике, с ноутбуками на PyTorch и TensorFlow.
Подборка библиотек, моделей, реализаций, руководств и статей по PyTorch на GitHub.
OpenCV — библиотека компьютерного зрения с открытым исходным кодом на C++, включающая алгоритмы обработки изображений и привязки для нескольких языков.
Open-source OCR-движок libtesseract и CLI для распознавания текста на изображениях: LSTM-распознавание и поддержка более 100 языков.
Кроссплатформенный фреймворк и готовые ML-решения для запуска моделей компьютерного зрения, аудио и текста на мобильных устройствах, в вебе, на десктопе и IoT.