Repolode
Enviar
NVIDIA

NVIDIA/Isaac-GR00T

Modelo fundacional abierto de visión, lenguaje y acción de NVIDIA (GR00T N1.7) para habilidades generalistas de manipulación con humanoides y robots, con herramientas de ajuste fino y despliegue.

Ver en GitHubSitio web
Estrellas
8,241
Forks
1,503
Issues abiertos
346
Último commit
hace 19 horas

¿Qué es?

Isaac GR00T es el modelo abierto de visión, lenguaje y acción (VLA) de NVIDIA para robots. Recibe instrucciones en lenguaje e imágenes de cámaras y genera acciones continuas para robots mediante una arquitectura que combina una base de visión y lenguaje con una cabeza de acción basada en un transformer de difusión. La versión N1.7 actual usa una base Cosmos-Reason2-2B (Qwen3-VL) y se preentrena con demostraciones robóticas y 20 000 horas de video humano.

El repositorio cubre todo el flujo de trabajo: convertir demostraciones al formato de conjunto de datos de GR00T basado en LeRobot, ejecutar inferencia zero-shot o con ajuste fino, ajustar el modelo a una embodiment personalizada mediante una configuración de modalidad y evaluar con comparaciones open-loop o ejecuciones closed-loop de servidor y cliente. Incluye checkpoints ajustados para benchmarks como LIBERO, DROID y SimplerEnv, además de opciones de despliegue con ONNX y TensorRT en GPU de escritorio y dispositivos Jetson.

Los pesos del modelo se publican bajo la NVIDIA Open Model License y el código, bajo Apache 2.0. La inferencia requiere una GPU con al menos 16 GB de VRAM, y el modelo base carga una base de Hugging Face con acceso restringido que requiere aprobación.

Funciones clave

  • 01Modelo de visión, lenguaje y acción que convierte lenguaje e imágenes en acciones para robots
  • 02Ajuste fino con datos robóticos personalizados mediante una configuración de modalidad y un script de ejecución
  • 03Evaluación open-loop y closed-loop con un servidor y un cliente de políticas
  • 04Checkpoints preentrenados para los benchmarks LIBERO, DROID y SimplerEnv
  • 05Exportación a ONNX y TensorRT para desplegar en GPU de escritorio y dispositivos Jetson
  • 06Herramientas para convertir conjuntos de datos al formato GR00T LeRobot v2

Casos de uso

  • Ajustar una política de manipulación para un brazo personalizado o un humanoide con demostraciones propias
  • Ejecutar inferencia zero-shot con el modelo base en datos robóticos de tipo DROID
  • Evaluar una política VLA en tareas de simulación de LIBERO o SimplerEnv
  • Desplegar una política robótica en un dispositivo Jetson o un servidor con GPU y aceleración TensorRT

Inicio rápido

  1. 1

    Instala git-lfs y clona el repositorio con los submódulos

    git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
  2. 2

    Instala uv (gestor de paquetes)

  3. 3

    Crea el entorno e instala las dependencias de GR00T

    uv sync --python 3.12
  4. 4

    Verifica la instalación

    uv run python -c "import gr00t; print('GR00T installed successfully')"

Antes de usarlo

  • Se requiere acceso restringido de Hugging Face al backbone Cosmos-Reason2-2B antes de la inferencia o el ajuste fino.
  • Para el ajuste fino se recomiendan GPU con 40 GB o más de VRAM; para la inferencia se necesitan 16 GB o más de VRAM.
  • La instalación predeterminada requiere FFmpeg 4-7, ya que torchcodec 0.8.0 no admite FFmpeg 8.

Temas

#robotics#vision-language-action#foundation-model#imitation-learning#humanoid-robot#fine-tuning#tensorrt#embodied-ai

Preguntas frecuentes

¿Qué es Isaac-GR00T?
Modelo fundacional abierto de visión, lenguaje y acción de NVIDIA (GR00T N1.7) para habilidades generalistas de manipulación con humanoides y robots, con herramientas de ajuste fino y despliegue. Isaac GR00T es el modelo abierto de visión, lenguaje y acción (VLA) de NVIDIA para robots. Recibe instrucciones en lenguaje e imágenes de cámaras y genera acciones continuas para robots mediante una arquitectura que combina una base de visión y lenguaje con una cabeza de acción basada en un transformer de difusión. La versión N1.7 actual usa una base Cosmos-Reason2-2B (Qwen3-VL) y se preentrena con demostraciones robóticas y 20 000 horas de video humano.
¿Isaac-GR00T es gratuito? ¿Qué licencia tiene?
Isaac-GR00T es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Isaac-GR00T sigue mantenido?
Mantenimiento activo. El último commit de Isaac-GR00T fue el 21 oct 2026.
¿Para qué puedo usar Isaac-GR00T?
Ajustar una política de manipulación para un brazo personalizado o un humanoide con demostraciones propias Ejecutar inferencia zero-shot con el modelo base en datos robóticos de tipo DROID Evaluar una política VLA en tareas de simulación de LIBERO o SimplerEnv Desplegar una política robótica en un dispositivo Jetson o un servidor con GPU y aceleración TensorRT
¿Cómo se instala Isaac-GR00T?
Instala git-lfs y clona el repositorio con los submódulos: git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T Instala uv (gestor de paquetes) Crea el entorno e instala las dependencias de GR00T: uv sync --python 3.12 Verifica la instalación: uv run python -c "import gr00t; print('GR00T installed successfully')"
¿Dónde consigo Isaac-GR00T?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/Isaac-GR00T

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados