Un modelo del mundo interactivo en tiempo real que genera una escena navegable a partir de una imagen y un prompt, con la imagen y el sonido estéreo alineado con la cámara que se actualizan a la vez.
HelixWorld recibe la imagen del primer fotograma y un prompt de texto, y genera una escena que el usuario puede recorrer. Al avanzar o girar, se actualizan tanto la imagen como el sonido, y el campo de audio espacial gira con la cámara. El proyecto genera el audio conjuntamente con las imágenes, en lugar de añadirlo después como banda sonora.
El modelo incorpora poses de cámara continuas de 6 DoF en la rama de video mediante Projective Relative Positional Encoding y usa atención multimodal para vincular la geometría visual con las características acústicas. El repositorio ofrece código de inferencia de Preview v1 que funciona en Linux con Python 3.11, CUDA 12.x y una GPU NVIDIA; se recomiendan 80 GB de VRAM. Entre las entradas se incluyen secuencias de acciones como W/A/S/D y teclas de cámara, y la salida es un archivo MP4.
El proyecto también publica HelixBench, un benchmark para comprobar si los campos de sonido generados siguen el movimiento del punto de vista, además de una demo para navegador y un informe técnico en arXiv.
Clona el repositorio
git clone https://github.com/NoizAI/HelixWorld.gitCrea el entorno conda de Python 3.11
conda create -n helixworld-preview python=3.11 -yInstala las dependencias y descarga los pesos del modelo
python -m pip install -r requirements.txt && python download_models.pyEjecuta la inferencia en una GPU usando una imagen del primer fotograma y un archivo de prompts
CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demoResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelos generativos de video de código abierto y gran escala para crear videos a partir de texto, imágenes o audio, y animar personajes.
Modelos fundacionales, conjuntos de datos y herramientas de NVIDIA para crear IA física en robots, vehículos autónomos e infraestructura inteligente.
Framework de serving que amplía vLLM para ejecutar modelos omnimodales que generan texto, imágenes, audio, video y acciones.
Plataforma de IA generativa de código abierto con una API unificada para generar texto, imágenes, video, audio, contenido 3D y embeddings.
Modelo de mundo interactivo de código abierto que genera escenas de juego jugables a partir de fotogramas low-poly mediante renderizado neuronal por streaming.
Interfaz web basada en Gradio para ejecutar Stable Diffusion y modelos recientes de imagen y video, que continúa el fork Forge con más compatibilidad y optimizaciones.