Инструмент для удаления фона с изображений: доступен как CLI, библиотека Python, HTTP-сервер или Docker-контейнер.
apple-aiml-research/ml-sharp
Исследовательский проект Apple, который менее чем за секунду превращает одну фотографию в 3D-сцену из гауссиан для рендеринга с близких новых ракурсов.
- Звёзды
- 8,989
- Форки
- 652
- Открытые issues
- 76
- Последний коммит
- в прошлом месяце
Что это?
SHARP — исследовательский проект Apple для синтеза новых ракурсов по одному изображению: по фотографии нейросеть за один прямой проход предсказывает параметры 3D-представления сцены в виде гауссиан. На обычном GPU это занимает меньше секунды.
Полученную сцену из гауссиан можно рендерить в реальном времени, создавая изображения высокого разрешения с близких ракурсов камеры. Представление метрическое, с абсолютным масштабом, поэтому перемещения камеры задаются в реальных единицах. Результат сохраняется в файлы 3DGS .ply; как отмечает проект, они совместимы с различными общедоступными рендерерами 3DGS и используют систему координат OpenCV.
В проект входит CLI-инструмент `sharp` с подкомандами `predict` и `render`. Предсказание выполняется на CPU, CUDA или MPS, а для рендеринга видео с траекторией камеры в настоящее время требуется GPU с CUDA. При первом запуске контрольная точка модели скачивается автоматически.
Ключевые возможности
- 01Создаёт 3D-сцену из гауссиан по одному изображению за один прямой проход нейросети.
- 02Работает менее чем за секунду на обычном GPU.
- 03Создаёт представления с метрическим масштабом, позволяющие перемещать камеру в реальных единицах.
- 04Экспортирует стандартные файлы 3DGS .ply, совместимые с общедоступными рендерерами.
- 05Рендерит видео с траекторией камеры в реальном времени (требуется GPU с CUDA).
Сценарии использования
- Превращение одной фотографии в 3D-сцену, которую можно рассматривать с близких ракурсов.
- Создание прототипов конвейеров Gaussian Splatting без съёмки с нескольких ракурсов.
- Создание видео с пролётом камеры на основе статичных изображений.
Быстрый старт
- 1
Создайте среду Python
conda create -n sharp python=3.13 - 2
Установите зависимости проекта
pip install -r requirements.txt - 3
Проверьте установку
sharp --help - 4
Запустите предсказание для входных изображений (контрольная точка автоматически загружается при первом запуске)
sharp predict -i /path/to/input/images -o /path/to/output/gaussians
Что важно знать
- Для рендеринга видео с помощью параметра --render требуется GPU с поддержкой CUDA.
- В README не указана лицензия на программное обеспечение; перед использованием проверьте файлы LICENSE и LICENSE_MODEL.
Темы
Частые вопросы
- Что такое ml-sharp?
- Исследовательский проект Apple, который менее чем за секунду превращает одну фотографию в 3D-сцену из гауссиан для рендеринга с близких новых ракурсов. SHARP — исследовательский проект Apple для синтеза новых ракурсов по одному изображению: по фотографии нейросеть за один прямой проход предсказывает параметры 3D-представления сцены в виде гауссиан. На обычном GPU это занимает меньше секунды.
- ml-sharp можно использовать бесплатно? Какая у него лицензия?
- ml-sharp распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- ml-sharp всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в ml-sharp — 11 сент. 2026 г..
- Для чего можно использовать ml-sharp?
- Превращение одной фотографии в 3D-сцену, которую можно рассматривать с близких ракурсов. Создание прототипов конвейеров Gaussian Splatting без съёмки с нескольких ракурсов. Создание видео с пролётом камеры на основе статичных изображений.
- Как установить ml-sharp?
- Создайте среду Python: conda create -n sharp python=3.13 Установите зависимости проекта: pip install -r requirements.txt Проверьте установку: sharp --help Запустите предсказание для входных изображений (контрольная точка автоматически загружается при первом запуске): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
- Где скачать ml-sharp?
- Исходный код и инструкции по установке — на GitHub: https://github.com/apple-aiml-research/ml-sharp
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Инструмент на Python для восстановления лиц вслепую: улучшает размытые, низкокачественные и повреждённые лица на фото и видео с помощью трансформера с поиском по кодовой книге.
Бесплатная система захвата движений без маркеров: записывает видео с нескольких камер и восстанавливает движения человека в 3D.
Фреймворк с открытым исходным кодом на базе PyTorch для глубокого обучения на медицинских изображениях: предобработка, сети, функции потерь и метрики оценки.
Библиотека OCR с открытым исходным кодом для Python: обнаруживает и распознаёт текст в PDF и изображениях с помощью моделей глубокого обучения на PyTorch.
Преобразует статичные изображения диаграмм в редактируемые файлы DrawIO (XML) с помощью сегментации SAM 3, OCR и распознавания формул LaTeX.