Repolode
Предложить
speridlabs

speridlabs/idol-sdk

Преобразует одно изображение объекта в 3D-модель Gaussian splat, генерируя невидимые стороны; доступен как inference SDK и демо.

Открыть на GitHub
Звёзды
885
Форки
86
Открытые issues
1
Последний коммит
9 дней назад

Что это?

Idol — это inference SDK, который по одному изображению объекта — например, рендеру, сгенерированной картинке или фотографии — создаёт 3D Gaussian splat в стандартном формате 3DGS .ply. Он удаляет фон с помощью BiRefNet, кадрирует объект и выстраивает его в кадре, а затем генерирует от 32 768 до 1 048 576 гауссиан, в том числе для сторон, не видимых на исходном изображении.

В основе модели — diffusion transformer с 370 млн параметров, использующий признаки DINOv3 и FLUX.2 VAE, и отдельный декодер. Запускать инференс можно через CLI с режимом для синтетических изображений или реальных фотографий либо через Python API, который загружает веса с Hugging Face. При каждом запуске сохраняются файл .ply, предобработанное входное изображение и JSON с предсказанной камерой.

В репозитории есть демо на Gradio в каталоге demo/, которое можно запускать локально на GPU. Доступ к весам ограничен: перед первым использованием нужно запросить доступ к репозиториям DINOv3 и FLUX.2-dev на Hugging Face.

Ключевые возможности

  • 01Создаёт 3D-гауссианы по одному изображению — до 1 048 576 штук.
  • 02Сохраняет результат в стандартные файлы 3DGS .ply, которые можно открыть в любом просмотрщике Gaussian splat.
  • 03Автоматически удаляет фон и кадрирует объект.
  • 04Поддерживает отдельные режимы для синтетических изображений и реальных фотографий.
  • 05Предоставляет CLI, Python API и локальное демо на Gradio.
  • 06Использует flash-attn, если он установлен, а в противном случае — PyTorch SDPA.

Сценарии использования

  • Преобразование продуктовых рендеров или сгенерированных изображений в 3D-ассеты для просмотра.
  • Восстановление 3D-объекта по одной фотографии из реального мира.
  • Прототипирование пайплайнов преобразования изображений в 3D на локальном потребительском GPU.

Быстрый старт

  1. 1

    Установите пакет с помощью pip (Python 3.10+, PyTorch 2.5+)

    pip install -e .
  2. 2

    Запросите доступ к моделям DINOv3 и FLUX.2-dev с ограниченным доступом на Hugging Face, затем войдите в систему

    hf auth login
  3. 3

    Запустите инференс для фотографии

    python -m idol.sample --image photo.jpg --mode real

Что важно знать

  • Для доступа к моделям DINOv3 и FLUX.2-dev с ограниченным доступом на Hugging Face требуется одобрение.
  • Для приемлемой скорости нужен локальный GPU; на менее мощных GPU обработка запроса может занять почти минуту.
  • Пиковое потребление VRAM составляет около 7,2 ГБ на запрос.

В подборках

Библиотеки и инструменты компьютерного зрения

Темы

#3d-gaussian-splatting#image-to-3d#diffusion#computer-vision#pytorch#gradio

Частые вопросы

Что такое idol-sdk?
Преобразует одно изображение объекта в 3D-модель Gaussian splat, генерируя невидимые стороны; доступен как inference SDK и демо. Idol — это inference SDK, который по одному изображению объекта — например, рендеру, сгенерированной картинке или фотографии — создаёт 3D Gaussian splat в стандартном формате 3DGS .ply. Он удаляет фон с помощью BiRefNet, кадрирует объект и выстраивает его в кадре, а затем генерирует от 32 768 до 1 048 576 гауссиан, в том числе для сторон, не видимых на исходном изображении.
idol-sdk можно использовать бесплатно? Какая у него лицензия?
idol-sdk распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
idol-sdk всё ещё поддерживается?
Активно поддерживается. Последний коммит в idol-sdk — 29 окт. 2026 г..
Для чего можно использовать idol-sdk?
Преобразование продуктовых рендеров или сгенерированных изображений в 3D-ассеты для просмотра. Восстановление 3D-объекта по одной фотографии из реального мира. Прототипирование пайплайнов преобразования изображений в 3D на локальном потребительском GPU.
Как установить idol-sdk?
Установите пакет с помощью pip (Python 3.10+, PyTorch 2.5+): pip install -e . Запросите доступ к моделям DINOv3 и FLUX.2-dev с ограниченным доступом на Hugging Face, затем войдите в систему: hf auth login Запустите инференс для фотографии: python -m idol.sample --image photo.jpg --mode real
Где скачать idol-sdk?
Исходный код и инструкции по установке — на GitHub: https://github.com/speridlabs/idol-sdk

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Supra-3D / SUPRA-Tex

Создаёт текстурированные 3D-модели с поддержкой смены освещения (GLB с картами базового цвета, металличности и шероховатости) по одному изображению, а также накладывает текстуры на существующие меши.

ИИ и машинное обучение#3d-generation#pbr#texture-generation
699+50 за неделю35PythonMITОбновлён 10 дней назад

ace-step / ACE-Step-1.5

Открытая модель для локальной генерации музыки: создаёт целые песни по текстовым запросам и поддерживает редактирование, создание каверов и обучение LoRA.

ИИ и машинное обучение#music-generation#text-to-music#diffusion
14,5 тыс.+243 за неделю1,9 тыс.PythonMITАктивно поддерживаетсяОбновлён 27 дней назад