Repolode
Enviar
speridlabs

speridlabs/idol-sdk

Convierte una imagen de un objeto en un modelo 3D Gaussian splat y genera las partes no visibles, como SDK de inferencia y demo.

Ver en GitHub
Estrellas
863
Forks
83
Issues abiertos
1
Último commit
hace 9 días

¿Qué es?

Idol es un SDK de inferencia que recibe una imagen de un objeto —por ejemplo, un render, una imagen generada o una fotografía— y produce un 3D Gaussian splat en el formato estándar 3DGS .ply. Elimina el fondo con BiRefNet, recorta y encuadra el objeto y, después, genera entre 32.768 y 1.048.576 Gaussians, incluidas las partes que no aparecen en la imagen de entrada.

El modelo es un diffusion transformer de 370M parámetros, condicionado por características de DINOv3 y FLUX.2 VAE, con un decoder independiente. La inferencia está disponible mediante una herramienta de línea de comandos con un modo para imágenes sintéticas y otro para fotografías reales, o mediante una API de Python que carga los pesos desde Hugging Face. Cada ejecución guarda el archivo .ply, la imagen de entrada preprocesada y el JSON de la cámara predicha.

El repositorio incluye una demo de Gradio en demo/ que puede ejecutarse localmente en una GPU. El acceso a los pesos está restringido: antes del primer uso, hay que solicitar acceso a los repositorios de DINOv3 y FLUX.2-dev en Hugging Face.

Funciones clave

  • 01Genera 3D Gaussians a partir de una sola imagen, con un máximo de 1.048.576 Gaussians.
  • 02Genera archivos .ply estándar de 3DGS, compatibles con cualquier visor de Gaussian splats.
  • 03Elimina el fondo y recorta el objeto automáticamente.
  • 04Ofrece modos independientes para imágenes sintéticas y fotografías reales.
  • 05Incluye una herramienta de línea de comandos, una API de Python y una demo local de Gradio.
  • 06Usa flash-attn cuando está instalado y, si no, recurre a PyTorch SDPA.

Casos de uso

  • Convertir renders de productos o imágenes generadas en recursos 3D para un visor.
  • Reconstruir un objeto 3D a partir de una sola fotografía del mundo real.
  • Crear prototipos de pipelines de imagen a 3D en una GPU de consumo local.

Inicio rápido

  1. 1

    Instala el paquete con pip (Python 3.10+, PyTorch 2.5+)

    pip install -e .
  2. 2

    Solicita acceso a los modelos restringidos DINOv3 y FLUX.2-dev en Hugging Face y, después, inicia sesión

    hf auth login
  3. 3

    Ejecuta la inferencia en una foto

    python -m idol.sample --image photo.jpg --mode real

Antes de usarlo

  • Necesitas aprobación para acceder a los modelos restringidos DINOv3 y FLUX.2-dev en Hugging Face.
  • Necesitas una GPU local para obtener una velocidad práctica; en GPU menos potentes, las solicitudes pueden tardar casi un minuto.
  • Utiliza unos 7,2 GB de VRAM como máximo por solicitud.

En colecciones

Bibliotecas y herramientas de visión artificial

Temas

#3d-gaussian-splatting#image-to-3d#diffusion#computer-vision#pytorch#gradio

Preguntas frecuentes

¿Qué es idol-sdk?
Convierte una imagen de un objeto en un modelo 3D Gaussian splat y genera las partes no visibles, como SDK de inferencia y demo. Idol es un SDK de inferencia que recibe una imagen de un objeto —por ejemplo, un render, una imagen generada o una fotografía— y produce un 3D Gaussian splat en el formato estándar 3DGS .ply. Elimina el fondo con BiRefNet, recorta y encuadra el objeto y, después, genera entre 32.768 y 1.048.576 Gaussians, incluidas las partes que no aparecen en la imagen de entrada.
¿idol-sdk es gratuito? ¿Qué licencia tiene?
idol-sdk es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿idol-sdk sigue mantenido?
Mantenimiento activo. El último commit de idol-sdk fue el 29 oct 2026.
¿Para qué puedo usar idol-sdk?
Convertir renders de productos o imágenes generadas en recursos 3D para un visor. Reconstruir un objeto 3D a partir de una sola fotografía del mundo real. Crear prototipos de pipelines de imagen a 3D en una GPU de consumo local.
¿Cómo se instala idol-sdk?
Instala el paquete con pip (Python 3.10+, PyTorch 2.5+): pip install -e . Solicita acceso a los modelos restringidos DINOv3 y FLUX.2-dev en Hugging Face y, después, inicia sesión: hf auth login Ejecuta la inferencia en una foto: python -m idol.sample --image photo.jpg --mode real
¿Dónde consigo idol-sdk?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/speridlabs/idol-sdk

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados