Repolode
NVIDIA

NVIDIA/Isaac-GR00T

NVIDIA 开源的视觉-语言-动作基础模型 GR00T N1.7,面向通用人形机器人与机械臂操作任务。

Star
8,241
Fork
1,503
未关闭 Issue
346
最近提交
18小时前

这是什么?

Isaac GR00T 是 NVIDIA 开源的机器人视觉-语言-动作(VLA)模型。它以语言指令和摄像头图像作为输入,输出连续的机器人动作,底层结合视觉-语言骨干网络与扩散 Transformer 动作头。当前的 N1.7 版本采用 Cosmos-Reason2-2B(Qwen3-VL)骨干,预训练数据包括机器人示范和 2 万小时人类视频。

仓库覆盖完整流程:将示范数据转换为 GR00T 的 LeRobot 风格数据格式,进行零样本或微调后的推理,通过 modality 配置在自定义机器人形态上微调,并支持开环对比与闭环 server-client 评测。仓库提供 LIBERO、DROID、SimplerEnv 等基准的微调权重,并支持通过 ONNX 和 TensorRT 部署到桌面 GPU 与 Jetson 设备。

模型权重采用 NVIDIA Open Model License 发布,代码为 Apache 2.0 许可。推理需要 16 GB 以上显存的 GPU,基础模型加载的骨干网络为需申请访问权限的 Hugging Face 受限模型。

核心功能

  • 01视觉-语言-动作模型,将语言指令和图像映射为机器人动作
  • 02通过 modality 配置和启动脚本在自定义机器人数据上微调
  • 03基于策略服务端与客户端的开环与闭环评测
  • 04提供 LIBERO、DROID、SimplerEnv 基准的预训练权重
  • 05支持导出 ONNX 与 TensorRT,部署到桌面 GPU 和 Jetson 设备
  • 06提供 GR00T LeRobot v2 格式的数据转换工具

适用场景

  • 使用自有示范数据为机械臂或人形机器人微调操作策略
  • 在 DROID 类机器人数据上用基础模型做零样本推理
  • 在 LIBERO 或 SimplerEnv 仿真任务上评测 VLA 策略
  • 借助 TensorRT 加速,将机器人策略部署到 Jetson 或 GPU 服务器

快速上手

  1. 1

    安装 git-lfs 并克隆仓库(含子模块)

    git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
  2. 2

    安装 uv 包管理器

  3. 3

    创建环境并安装 GR00T 依赖

    uv sync --python 3.12
  4. 4

    验证安装是否成功

    uv run python -c "import gr00t; print('GR00T installed successfully')"

使用前须知

  • 运行推理或微调前需要获得 Cosmos-Reason2-2B 骨干模型的 Hugging Face 受限访问权限。
  • 微调建议使用 40 GB 以上显存的 GPU,推理需要 16 GB 以上显存。
  • 默认安装需要 FFmpeg 4-7 版本,因为 torchcodec 0.8.0 不支持 FFmpeg 8。

标签

常见问题

Isaac-GR00T 是什么?
NVIDIA 开源的视觉-语言-动作基础模型 GR00T N1.7,面向通用人形机器人与机械臂操作任务。 Isaac GR00T 是 NVIDIA 开源的机器人视觉-语言-动作(VLA)模型。它以语言指令和摄像头图像作为输入,输出连续的机器人动作,底层结合视觉-语言骨干网络与扩散 Transformer 动作头。当前的 N1.7 版本采用 Cosmos-Reason2-2B(Qwen3-VL)骨干,预训练数据包括机器人示范和 2 万小时人类视频。
Isaac-GR00T 可以免费使用吗?用的什么许可证?
Isaac-GR00T 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
Isaac-GR00T 还在维护吗?
活跃维护中。Isaac-GR00T 最近一次提交是在 2026年10月21日。
Isaac-GR00T 适合用来做什么?
使用自有示范数据为机械臂或人形机器人微调操作策略 在 DROID 类机器人数据上用基础模型做零样本推理 在 LIBERO 或 SimplerEnv 仿真任务上评测 VLA 策略 借助 TensorRT 加速,将机器人策略部署到 Jetson 或 GPU 服务器
Isaac-GR00T 怎么安装和运行?
安装 git-lfs 并克隆仓库(含子模块): git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T 安装 uv 包管理器 创建环境并安装 GR00T 依赖: uv sync --python 3.12 验证安装是否成功: uv run python -c "import gr00t; print('GR00T installed successfully')"
在哪里获取 Isaac-GR00T?
源代码和安装说明在 GitHub 上:https://github.com/NVIDIA/Isaac-GR00T

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目