Открытые VLA-модели для робототехники от Physical Intelligence: предобученные чекпойнты и примеры дообучения.
NVIDIA/Isaac-GR00T
Открытая базовая vision-language-action-модель NVIDIA GR00T N1.7 для навыков управления гуманоидными роботами и манипуляции, с инструментами дообучения и развёртывания.
- Звёзды
- 8,241
- Форки
- 1,503
- Открытые issues
- 346
- Последний коммит
- 21 час назад
Что это?
Isaac GR00T — открытая vision-language-action-модель (VLA) NVIDIA для роботов. На вход она принимает текстовые инструкции и изображения с камер, а на выходе выдаёт непрерывные управляющие команды роботу. Для этого в ней объединены vision-language-бэкбон и action head на базе diffusion transformer. В текущем релизе N1.7 используется бэкбон Cosmos-Reason2-2B (Qwen3-VL); модель предварительно обучена на демонстрациях работы роботов и 20 тысячах часов видео с людьми.
Репозиторий охватывает весь рабочий процесс: преобразование демонстраций в формат датасета GR00T LeRobot, запуск zero-shot-инференса или инференса дообученной модели, дообучение для собственного типа робота с помощью modality config, а также оценка через open-loop-сравнения или closed-loop-прогоны по схеме server-client. В репозитории есть дообученные чекпойнты для таких бенчмарков, как LIBERO, DROID и SimplerEnv, а также варианты развёртывания с ONNX и TensorRT на настольных GPU и устройствах Jetson.
Веса модели выпущены по лицензии NVIDIA Open Model License, код — по лицензии Apache 2.0. Для инференса требуется GPU как минимум с 16 ГБ VRAM. Базовая модель загружает бэкбон с ограниченным доступом на Hugging Face, для которого нужно получить разрешение.
Ключевые возможности
- 01Модель vision-language-action, преобразующая язык и изображения в команды для робота
- 02Дообучение на собственных данных робота с помощью modality config и скрипта запуска
- 03Оценка в режимах open-loop и closed-loop с policy server и client
- 04Предварительно обученные чекпойнты для бенчмарков LIBERO, DROID и SimplerEnv
- 05Экспорт в ONNX и TensorRT для развёртывания на настольных GPU и устройствах Jetson
- 06Инструменты преобразования датасетов в формат GR00T LeRobot v2
Сценарии использования
- Дообучение политики манипуляции для собственной роботизированной руки или гуманоида на своих демонстрациях
- Запуск zero-shot-инференса базовой модели на данных роботов в стиле DROID
- Тестирование VLA-политики на симуляционных задачах LIBERO или SimplerEnv
- Развёртывание политики робота на Jetson или GPU-сервере с ускорением TensorRT
Быстрый старт
- 1
Установите git-lfs и клонируйте репозиторий вместе с подмодулями
git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T - 2
Установите uv (менеджер пакетов)
- 3
Создайте окружение и установите зависимости GR00T
uv sync --python 3.12 - 4
Проверьте установку
uv run python -c "import gr00t; print('GR00T installed successfully')"
Что важно знать
- Перед инференсом или дообучением требуется разрешённый доступ к Cosmos-Reason2-2B на Hugging Face.
- Для дообучения рекомендуется GPU с VRAM от 40 ГБ, для инференса требуется VRAM от 16 ГБ.
- Для установки по умолчанию требуется FFmpeg 4–7, поскольку torchcodec 0.8.0 не поддерживает FFmpeg 8.
В подборках
Темы
Частые вопросы
- Что такое Isaac-GR00T?
- Открытая базовая vision-language-action-модель NVIDIA GR00T N1.7 для навыков управления гуманоидными роботами и манипуляции, с инструментами дообучения и развёртывания. Isaac GR00T — открытая vision-language-action-модель (VLA) NVIDIA для роботов. На вход она принимает текстовые инструкции и изображения с камер, а на выходе выдаёт непрерывные управляющие команды роботу. Для этого в ней объединены vision-language-бэкбон и action head на базе diffusion transformer. В текущем релизе N1.7 используется бэкбон Cosmos-Reason2-2B (Qwen3-VL); модель предварительно обучена на демонстрациях работы роботов и 20 тысячах часов видео с людьми.
- Isaac-GR00T можно использовать бесплатно? Какая у него лицензия?
- Isaac-GR00T распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Isaac-GR00T всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Isaac-GR00T — 21 окт. 2026 г..
- Для чего можно использовать Isaac-GR00T?
- Дообучение политики манипуляции для собственной роботизированной руки или гуманоида на своих демонстрациях Запуск zero-shot-инференса базовой модели на данных роботов в стиле DROID Тестирование VLA-политики на симуляционных задачах LIBERO или SimplerEnv Развёртывание политики робота на Jetson или GPU-сервере с ускорением TensorRT
- Как установить Isaac-GR00T?
- Установите git-lfs и клонируйте репозиторий вместе с подмодулями: git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T Установите uv (менеджер пакетов) Создайте окружение и установите зависимости GR00T: uv sync --python 3.12 Проверьте установку: uv run python -c "import gr00t; print('GR00T installed successfully')"
- Где скачать Isaac-GR00T?
- Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/Isaac-GR00T
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Платформа для симуляции в робототехнике и embodied AI: объединяет мультифизический движок, фотореалистичный рендерер и кроссплатформенный компилятор с интерфейсом на Python.
Полностью написанный на Rust middleware-фреймворк для создания приложений в области робототехники и AI в виде направленных графов потоков данных.
Открытый фреймворк для создания embodied-агентов, которые используют LLM-планировщики, VLA-модели манипуляции и память для выполнения задач на симуляторах и реальных роботах.
Python-привязки и слой политик для роботов на базе Rust-движка инференса ApxInf, запускающий VLA-модели, например PI-0.5, на Jetson Thor/Orin и GPU RTX.
Открытые файлы для 3D-печати и списки комплектующих для недорогих роботизированных манипуляторов SO-100/SO-101, совместимых с библиотекой LeRobot.