Um modelo de mundo interativo em tempo real que gera uma cena navegável a partir de uma imagem e um prompt, atualizando juntos a imagem e o áudio estéreo alinhado à câmera.
O HelixWorld recebe a imagem do primeiro quadro e um prompt de texto e, em seguida, gera uma cena pela qual o usuário pode se deslocar. Andar para a frente ou virar atualiza tanto a imagem quanto o som, e o campo de áudio espacial gira junto com a câmera. O projeto trata o áudio como algo gerado em conjunto com os elementos visuais, em vez de adicioná-lo depois como trilha sonora.
O modelo injeta poses contínuas de câmera em 6 DoF no ramo de vídeo usando Projective Relative Positional Encoding e usa atenção multimodal para conectar a geometria visual aos recursos acústicos. O repositório oferece o código de inferência do Preview v1, que roda no Linux com Python 3.11, CUDA 12.x e uma GPU NVIDIA; a recomendação é ter 80 GB de VRAM. As entradas incluem sequências de ações como W/A/S/D e teclas de câmera, e a saída é um arquivo MP4.
O projeto também disponibiliza o HelixBench, um benchmark para verificar se os campos sonoros gerados acompanham o movimento do ponto de vista, além de uma demonstração no navegador e um relatório técnico no arXiv.
Clone o repositório
git clone https://github.com/NoizAI/HelixWorld.gitCrie o ambiente conda do Python 3.11
conda create -n helixworld-preview python=3.11 -yInstale as dependências e baixe os pesos do modelo
python -m pip install -r requirements.txt && python download_models.pyExecute a inferência em uma GPU usando uma imagem do primeiro quadro e um arquivo de prompt
CUDA_VISIBLE_DEVICES=0 ./run.sh --image /path/to/first_frame.png --prompt-file examples/prompt.json --actions "W:5,right:5,stop:5" --perspective first_person --num-frames 121 --output-dir outputs/demoResumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Modelos generativos de vídeo open source em larga escala para texto para vídeo, imagem para vídeo, fala para vídeo e animação de personagens.
Modelos de base, datasets e ferramentas open world da NVIDIA para criar IA física em robôs, veículos autônomos e infraestrutura inteligente.
Um framework de serving que amplia o vLLM para executar modelos omni-modality que geram texto, imagens, áudio, vídeo e ações.
Plataforma de IA generativa open source com uma API unificada para geração de texto, imagens, vídeos, áudio, 3D e embeddings.
Modelo de mundo interativo e open source que gera cenas de jogo jogáveis a partir de quadros low-poly com renderização neural em streaming.
Uma interface web baseada em Gradio para executar Stable Diffusion e modelos mais recentes de imagem e vídeo, dando continuidade ao fork Forge com suporte a novos modelos e otimizações.