Repolode
Enviar
NVIDIA

NVIDIA/Isaac-GR00T

Modelo aberto de visão-linguagem-ação da NVIDIA (GR00T N1.7) para habilidades generalistas de manipulação com robôs e humanoides, com ferramentas de fine-tuning e implantação.

Ver no GitHubSite
Estrelas
8,241
Forks
1,503
Issues abertas
346
Último commit
há 19 horas

O que é?

Isaac GR00T é o modelo aberto de visão-linguagem-ação (VLA) da NVIDIA para robôs. Ele recebe instruções em linguagem natural e imagens de câmeras como entrada e gera ações contínuas para o robô, combinando uma base de visão-linguagem com uma cabeça de ação baseada em diffusion transformer. A versão atual, N1.7, usa uma base Cosmos-Reason2-2B (Qwen3-VL) e foi pré-treinada com demonstrações de robôs e 20 mil horas de vídeos de pessoas.

O repositório cobre o fluxo de trabalho completo: converter demonstrações para o formato de dataset do GR00T no estilo LeRobot, executar inferência zero-shot ou com fine-tuning, fazer fine-tuning para uma embodiment personalizada por meio de uma configuração de modalidade e avaliar com comparações open-loop ou execuções server-client em closed-loop. Ele inclui checkpoints com fine-tuning para benchmarks como LIBERO, DROID e SimplerEnv, além de opções de implantação com ONNX e TensorRT em GPUs desktop e dispositivos Jetson.

Os pesos do modelo são disponibilizados sob a NVIDIA Open Model License, e o código está sob Apache 2.0. A inferência exige uma GPU com pelo menos 16 GB de VRAM, e o modelo-base carrega uma base do Hugging Face com acesso restrito, que exige aprovação.

Recursos principais

  • 01Modelo de visão-linguagem-ação que mapeia linguagem e imagens para ações de robôs
  • 02Fine-tuning com dados personalizados de robôs por meio de uma configuração de modalidade e um script de inicialização
  • 03Avaliação open-loop e closed-loop com um servidor de política e um cliente
  • 04Checkpoints pré-treinados para os benchmarks LIBERO, DROID e SimplerEnv
  • 05Exportação para ONNX e TensorRT para implantação em GPUs desktop e dispositivos Jetson
  • 06Ferramentas para converter datasets para o formato GR00T LeRobot v2

Casos de uso

  • Fazer fine-tuning de uma política de manipulação para um braço robótico ou humanoide personalizado usando suas próprias demonstrações
  • Executar inferência zero-shot com o modelo-base em dados de robôs no estilo DROID
  • Avaliar uma política VLA em tarefas de simulação do LIBERO ou SimplerEnv
  • Implantar uma política robótica em um Jetson ou servidor com GPU usando aceleração do TensorRT

Início rápido

  1. 1

    Instale o git-lfs e clone o repositório com os submódulos

    git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
  2. 2

    Instale o uv (gerenciador de pacotes)

  3. 3

    Crie o ambiente e instale as dependências do GR00T

    uv sync --python 3.12
  4. 4

    Verifique a instalação

    uv run python -c "import gr00t; print('GR00T installed successfully')"

Antes de usar

  • É necessário ter acesso gated do Hugging Face ao backbone Cosmos-Reason2-2B antes da inferência ou do fine-tuning.
  • Para fine-tuning, recomenda-se uma GPU com 40 GB ou mais de VRAM; para inferência, são necessários 16 GB ou mais de VRAM.
  • A instalação padrão requer FFmpeg 4-7, pois o torchcodec 0.8.0 não oferece suporte ao FFmpeg 8.

Tópicos

#robotics#vision-language-action#foundation-model#imitation-learning#humanoid-robot#fine-tuning#tensorrt#embodied-ai

Perguntas frequentes

O que é Isaac-GR00T?
Modelo aberto de visão-linguagem-ação da NVIDIA (GR00T N1.7) para habilidades generalistas de manipulação com robôs e humanoides, com ferramentas de fine-tuning e implantação. Isaac GR00T é o modelo aberto de visão-linguagem-ação (VLA) da NVIDIA para robôs. Ele recebe instruções em linguagem natural e imagens de câmeras como entrada e gera ações contínuas para o robô, combinando uma base de visão-linguagem com uma cabeça de ação baseada em diffusion transformer. A versão atual, N1.7, usa uma base Cosmos-Reason2-2B (Qwen3-VL) e foi pré-treinada com demonstrações de robôs e 20 mil horas de vídeos de pessoas.
Isaac-GR00T é gratuito? Qual é a licença?
Isaac-GR00T é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Isaac-GR00T ainda é mantido?
Manutenção ativa. O último commit de Isaac-GR00T foi em 21 de out. de 2026.
Para que posso usar Isaac-GR00T?
Fazer fine-tuning de uma política de manipulação para um braço robótico ou humanoide personalizado usando suas próprias demonstrações Executar inferência zero-shot com o modelo-base em dados de robôs no estilo DROID Avaliar uma política VLA em tarefas de simulação do LIBERO ou SimplerEnv Implantar uma política robótica em um Jetson ou servidor com GPU usando aceleração do TensorRT
Como instalar Isaac-GR00T?
Instale o git-lfs e clone o repositório com os submódulos: git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T Instale o uv (gerenciador de pacotes) Crie o ambiente e instale as dependências do GR00T: uv sync --python 3.12 Verifique a instalação: uv run python -c "import gr00t; print('GR00T installed successfully')"
Onde consigo Isaac-GR00T?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/Isaac-GR00T

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados