Un modelo de mundo interactivo de código abierto de Skywork AI que genera escenas de juego jugables, fotograma a fotograma, con un modelo de video causal sobre un motor de juego ejecutable.
Matrix-Game 4.0 es un modelo de mundo interactivo que separa la lógica del juego del renderizado visual. El motor de juego ejecutable se encarga de la jugabilidad, la física y las entradas del jugador, mientras que un modelo de video causal convierte fotogramas RGB low-poly en imágenes detalladas de forma continua, condicionado por prompts de texto.
El lanzamiento incluye tres escenas jugables: Medieval Castle y Ancient Egypt para disparos en tercera persona, y City Racing para conducción. Los pesos del modelo y los recursos del juego están alojados en Hugging Face, y el código permite renderizar sin conexión y acceder a una demo en línea desde el navegador.
La inferencia es compatible con configuraciones de una sola GPU, como A100, RTX 5090, RTX 5080 y RTX 5070 Ti. También incluye rutas optimizadas para las tarjetas RTX que usan capas FP8, kernels fusionados, CUDA graphs y un backend opcional de SageAttention.
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
GUI de grafo de nodos, API y backend para ejecutar modelos de difusión localmente y generar imágenes, video, audio y contenido 3D.
Estudio de voz de código abierto y totalmente local para clonar y diseñar voces, doblar videos, dictar, transcribir y crear audiolibros en 646 idiomas.
Estudio de voz con IA local y de código abierto para clonar voces, generar voz, dictar en cualquier aplicación y dar voz a agentes de IA.
Toolkit de código abierto de Unity que permite usar juegos y simulaciones como entornos para entrenar agentes de IA mediante aprendizaje por refuerzo e imitación.
Modelos generativos de video de código abierto que crean videos a partir de texto, imágenes, voz o movimientos de personajes, con opciones MoE y 720P.
Un asistente de IA personal y autohospedado que se ejecuta en tus propios dispositivos y responde a través de apps de chat como WhatsApp, Telegram, Slack y Discord.