Repolode
Enviar
apple-aiml-research

apple-aiml-research/ml-sharp

Código de investigación de Apple que convierte una sola foto en una escena de Gaussianas 3D en menos de un segundo, lista para renderizar desde nuevos puntos de vista cercanos.

Ver en GitHubSitio web
Estrellas
8,989
Forks
652
Issues abiertos
76
Último commit
el mes pasado

¿Qué es?

SHARP es un proyecto de investigación de Apple que realiza síntesis de vistas monoculares: a partir de una sola fotografía, predice los parámetros de una representación de la escena mediante Gaussianas 3D en una única pasada directa de una red neuronal. En una GPU estándar, tarda menos de un segundo.

La escena de Gaussianas resultante se puede renderizar en tiempo real para generar imágenes de alta resolución desde puntos de vista cercanos de la cámara. La representación es métrica, con escala absoluta, por lo que los movimientos de cámara se expresan en unidades reales. El resultado se guarda como archivos .ply de 3DGS, que, según indica el proyecto, son compatibles con varios renderizadores públicos de 3DGS y usan la convención de coordenadas de OpenCV.

El proyecto ofrece una herramienta de línea de comandos llamada `sharp`, con los subcomandos `predict` y `render`. La predicción se ejecuta en CPU, CUDA o MPS, mientras que la generación de videos de trayectorias de cámara requiere actualmente una GPU CUDA. El checkpoint del modelo se descarga automáticamente en la primera ejecución.

Funciones clave

  • 01Genera una escena de Gaussianas 3D a partir de una sola imagen en una pasada directa.
  • 02Se ejecuta en menos de un segundo en una GPU estándar.
  • 03Produce representaciones con escala métrica que permiten movimientos de cámara en unidades reales.
  • 04Exporta archivos .ply estándar de 3DGS, compatibles con renderizadores públicos.
  • 05Renderiza videos de trayectorias de cámara en tiempo real (requiere una GPU CUDA).

Casos de uso

  • Convertir una sola foto en una escena 3D explorable desde puntos de vista cercanos.
  • Crear prototipos de flujos de trabajo de Gaussian Splatting 3D sin capturar varias vistas.
  • Generar videos de recorridos de cámara a partir de imágenes fijas.

Inicio rápido

  1. 1

    Crea un entorno de Python

    conda create -n sharp python=3.13
  2. 2

    Instala las dependencias del proyecto

    pip install -r requirements.txt
  3. 3

    Comprueba la instalación

    sharp --help
  4. 4

    Ejecuta predicciones con tus imágenes de entrada (el checkpoint se descarga automáticamente la primera vez)

    sharp predict -i /path/to/input/images -o /path/to/output/gaussians

Antes de usarlo

  • La opción --render requiere una GPU CUDA para renderizar vídeos.
  • El README no especifica una licencia de software; consulta los archivos LICENSE y LICENSE_MODEL antes de usar el proyecto.

Temas

#computer-vision#view-synthesis#gaussian-splatting#3d#deep-learning#python

Preguntas frecuentes

¿Qué es ml-sharp?
Código de investigación de Apple que convierte una sola foto en una escena de Gaussianas 3D en menos de un segundo, lista para renderizar desde nuevos puntos de vista cercanos. SHARP es un proyecto de investigación de Apple que realiza síntesis de vistas monoculares: a partir de una sola fotografía, predice los parámetros de una representación de la escena mediante Gaussianas 3D en una única pasada directa de una red neuronal. En una GPU estándar, tarda menos de un segundo.
¿ml-sharp es gratuito? ¿Qué licencia tiene?
ml-sharp es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ml-sharp sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de ml-sharp fue el 11 sept 2026.
¿Para qué puedo usar ml-sharp?
Convertir una sola foto en una escena 3D explorable desde puntos de vista cercanos. Crear prototipos de flujos de trabajo de Gaussian Splatting 3D sin capturar varias vistas. Generar videos de recorridos de cámara a partir de imágenes fijas.
¿Cómo se instala ml-sharp?
Crea un entorno de Python: conda create -n sharp python=3.13 Instala las dependencias del proyecto: pip install -r requirements.txt Comprueba la instalación: sharp --help Ejecuta predicciones con tus imágenes de entrada (el checkpoint se descarga automáticamente la primera vez): sharp predict -i /path/to/input/images -o /path/to/output/gaussians
¿Dónde consigo ml-sharp?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/apple-aiml-research/ml-sharp

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados