Modelo de código abierto para generar videos interactivos de juegos a partir de una imagen de referencia y controles de teclado o mouse.
Hunyuan-GameCraft es un modelo de generación de video de Tencent Hunyuan, diseñado para crear metraje interactivo de juegos. A partir de una imagen de referencia, un prompt de texto y una secuencia de acciones de teclado o mouse, como W, A, S, D, el modelo genera un video que sigue esos movimientos de cámara. Las entradas del teclado y el mouse se convierten a un espacio compartido de representación de cámara para interpolar los movimientos con fluidez.
El proyecto está pensado para extender videos largos. Utiliza una estrategia de entrenamiento híbrida condicionada por el historial, que prolonga las secuencias de forma autorregresiva y conserva la información de la escena de los fotogramas anteriores. También incluye una variante destilada, que requiere 8 pasos de inferencia en lugar de 50 y admite FP8 para acelerar la generación.
El repositorio incluye scripts de inferencia para generar en paralelo con varias GPU en Linux con CUDA, un modo para una sola GPU y poca VRAM con descarga de tareas a la CPU, y una interfaz web de Gradio conectada a una API de inferencia distribuida. Los pesos del modelo están publicados en Hugging Face.
Clona el repositorio
git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.gitCrea el entorno de conda
conda create -n HYGameCraft python==3.10Instala PyTorch y las dependencias de pip
python -m pip install -r requirements.txtDescarga los pesos del modelo preentrenado (consulta weights/README.md)
Ejecuta la interfaz web de Gradio
bash scripts/launch_app_sp.shResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelos generativos de video de código abierto y gran escala para crear videos a partir de texto, imágenes o audio, y animar personajes.
Modelo de mundo interactivo de código abierto que genera escenas de juego jugables a partir de fotogramas low-poly mediante renderizado neuronal por streaming.
Framework de investigación de código abierto para generar en tiempo real videos de avatares a partir de audio, con salida continua de duración ilimitada y un modelo de difusión de 14B.
Interfaz web basada en Gradio para ejecutar Stable Diffusion y modelos recientes de imagen y video, que continúa el fork Forge con más compatibilidad y optimizaciones.
Toolkit de código abierto de NVIDIA para crear, ajustar y desplegar modelos de IA de voz, incluidos reconocimiento de voz (ASR), texto a voz (TTS) y LLM de voz.
Motor open source de modelos de difusión para generar imágenes, video y audio, con inferencia y entrenamiento en equipos con poca VRAM.