Modelo open source de geração interativa de vídeos de jogos que transforma uma imagem de referência e comandos de teclado ou mouse em vídeos de gameplay controláveis.
Hunyuan-GameCraft é um modelo de geração de vídeo do Tencent Hunyuan voltado a cenas de jogos interativas. Com uma imagem de referência, um prompt de texto e uma sequência de ações de teclado ou mouse, como W, A, S, D, o modelo gera um vídeo que acompanha esses movimentos de câmera. Os comandos de teclado e mouse são mapeados para um espaço compartilhado de representação da câmera, permitindo interpolar movimentos com fluidez.
O projeto é voltado à extensão de vídeos longos. Ele usa uma estratégia híbrida de treinamento condicionada pelo histórico, que estende sequências de forma autoregressiva enquanto preserva as informações da cena de quadros anteriores. Também há uma variante destilada, que usa 8 etapas de inferência em vez de 50 e oferece suporte a FP8 para acelerar a geração.
O repositório inclui scripts de inferência para geração paralela em várias GPUs no Linux com CUDA, um modo para uma única GPU com pouca VRAM e offload para CPU, além de uma interface web Gradio conectada a uma API de inferência distribuída. Os pesos do modelo estão disponíveis no Hugging Face.
Clone o repositório
git clone https://github.com/Tencent-Hunyuan/Hunyuan-GameCraft-1.0.gitCrie o ambiente conda
conda create -n HYGameCraft python==3.10Instale o PyTorch e as dependências do pip
python -m pip install -r requirements.txtBaixe os pesos do modelo pré-treinado (consulte weights/README.md)
Execute a interface web do Gradio
bash scripts/launch_app_sp.shResumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Modelos generativos de vídeo open source em larga escala para texto para vídeo, imagem para vídeo, fala para vídeo e animação de personagens.
Modelo de mundo interativo e open source que gera cenas de jogo jogáveis a partir de quadros low-poly com renderização neural em streaming.
Framework de pesquisa open source para gerar vídeos de avatares em tempo real a partir de áudio, com transmissão contínua e duração ilimitada, usando um modelo de difusão de 14B.
Uma interface web baseada em Gradio para executar Stable Diffusion e modelos mais recentes de imagem e vídeo, dando continuidade ao fork Forge com suporte a novos modelos e otimizações.
Kit open source da NVIDIA para criar, ajustar e implantar modelos de IA de fala, incluindo reconhecimento de fala (ASR), síntese de fala (TTS) e LLMs de fala.
Um mecanismo open source de modelos Diffusion para gerar imagens, vídeos e áudio, com suporte a inferência e treinamento com pouca VRAM.