Repolode
apple-aiml-research

apple-aiml-research/ml-sharp

Исследовательский проект Apple, который менее чем за секунду превращает одну фотографию в 3D-сцену из гауссиан для рендеринга с близких новых ракурсов.

Звёзды
8,989
Форки
652
Открытые issues
76
Последний коммит
в прошлом месяце

Что это?

SHARP — исследовательский проект Apple для синтеза новых ракурсов по одному изображению: по фотографии нейросеть за один прямой проход предсказывает параметры 3D-представления сцены в виде гауссиан. На обычном GPU это занимает меньше секунды.

Полученную сцену из гауссиан можно рендерить в реальном времени, создавая изображения высокого разрешения с близких ракурсов камеры. Представление метрическое, с абсолютным масштабом, поэтому перемещения камеры задаются в реальных единицах. Результат сохраняется в файлы 3DGS .ply; как отмечает проект, они совместимы с различными общедоступными рендерерами 3DGS и используют систему координат OpenCV.

В проект входит CLI-инструмент `sharp` с подкомандами `predict` и `render`. Предсказание выполняется на CPU, CUDA или MPS, а для рендеринга видео с траекторией камеры в настоящее время требуется GPU с CUDA. При первом запуске контрольная точка модели скачивается автоматически.

Ключевые возможности

  • 01Создаёт 3D-сцену из гауссиан по одному изображению за один прямой проход нейросети.
  • 02Работает менее чем за секунду на обычном GPU.
  • 03Создаёт представления с метрическим масштабом, позволяющие перемещать камеру в реальных единицах.
  • 04Экспортирует стандартные файлы 3DGS .ply, совместимые с общедоступными рендерерами.
  • 05Рендерит видео с траекторией камеры в реальном времени (требуется GPU с CUDA).

Сценарии использования

  • Превращение одной фотографии в 3D-сцену, которую можно рассматривать с близких ракурсов.
  • Создание прототипов конвейеров Gaussian Splatting без съёмки с нескольких ракурсов.
  • Создание видео с пролётом камеры на основе статичных изображений.

Быстрый старт

  1. 1

    Создайте среду Python

    conda create -n sharp python=3.13
  2. 2

    Установите зависимости проекта

    pip install -r requirements.txt
  3. 3

    Проверьте установку

    sharp --help
  4. 4

    Запустите предсказание для входных изображений (контрольная точка автоматически загружается при первом запуске)

    sharp predict -i /path/to/input/images -o /path/to/output/gaussians

Что важно знать

  • Для рендеринга видео с помощью параметра --render требуется GPU с поддержкой CUDA.
  • В README не указана лицензия на программное обеспечение; перед использованием проверьте файлы LICENSE и LICENSE_MODEL.

Темы

Частые вопросы

Что такое ml-sharp?
Исследовательский проект Apple, который менее чем за секунду превращает одну фотографию в 3D-сцену из гауссиан для рендеринга с близких новых ракурсов. SHARP — исследовательский проект Apple для синтеза новых ракурсов по одному изображению: по фотографии нейросеть за один прямой проход предсказывает параметры 3D-представления сцены в виде гауссиан. На обычном GPU это занимает меньше секунды.
ml-sharp можно использовать бесплатно? Какая у него лицензия?
ml-sharp распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ml-sharp всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в ml-sharp — 11 сент. 2026 г..
Для чего можно использовать ml-sharp?
Превращение одной фотографии в 3D-сцену, которую можно рассматривать с близких ракурсов. Создание прототипов конвейеров Gaussian Splatting без съёмки с нескольких ракурсов. Создание видео с пролётом камеры на основе статичных изображений.
Как установить ml-sharp?
Создайте среду Python: conda create -n sharp python=3.13 Установите зависимости проекта: pip install -r requirements.txt Проверьте установку: sharp --help Запустите предсказание для входных изображений (контрольная точка автоматически загружается при первом запуске): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
Где скачать ml-sharp?
Исходный код и инструкции по установке — на GitHub: https://github.com/apple-aiml-research/ml-sharp

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Инструмент на Python для восстановления лиц вслепую: улучшает размытые, низкокачественные и повреждённые лица на фото и видео с помощью трансформера с поиском по кодовой книге.

18,2 тыс.3,7 тыс.PythonOtherОбновлён 11 месяцев назад