Repolode
RLinf

RLinf/APXinf-robo

Python-привязки и слой политик для роботов на базе Rust-движка инференса ApxInf, запускающий VLA-модели, например PI-0.5, на Jetson Thor/Orin и GPU RTX.

Звёзды
227
Форки
28
Открытые issues
1
Последний коммит
21 день назад

Что это?

APXinf-robo связывает edge-движок инференса ApxInf с задачами embodied AI. Он предоставляет Python API и совместимый с OpenPI websocket-сервер для запуска vision-language-action (VLA) моделей, таких как PI-0.5, PI0-FAST, GR00T N1.7 и Qwen-Drive, на NVIDIA Jetson AGX Thor и Orin, а также на GPU RTX 4090.

В пакете есть три точки входа: базовый интерфейс модели, который принимает кадры с уже изменённым размером и возвращает нормализованные действия; интерфейс политики для робота, который обрабатывает исходные наблюдения — изменяет размер изображений, выполняет токенизацию и нормализацию, а также запускает flow sampler; и websocket-сервер. Пресеты роботов, например franka_libero и unitree_g1, задают поля камер, кодирование состояния и ширину вектора действий. Поддерживаются точности BF16, FP8 (только Thor) и INT8; для FP8 нужны данные калибровки per-tensor.

В репозитории также есть скрипты для замеров задержки на нескольких уровнях и стенд для оценки на LIBERO-10, а также исходный код CUDA-ядер, CUTLASS и FlashAttention. Сам движок подключён как git submodule в apxinf/, а при сборке компилируются ядра для архитектуры GPU машины, на которой выполняется сборка.

Ключевые возможности

  • 01Запускает модели PI-0.5, PI0-FAST, GR00T N1.7 и Qwen-Drive на Jetson и GPU RTX.
  • 02Предоставляет Python API на уровнях базовой модели, политики и websocket-сервера.
  • 03Поддерживает совместимый с OpenPI websocket-протокол, к которому может подключаться существующий код openpi-client.
  • 04Поддерживает точности BF16, INT8 и FP8 (только Thor).
  • 05Включает бенчмарки задержки и скрипты оценки задач LIBERO-10.

Сценарии использования

  • Развёртывание VLA-политики на роботе с Jetson для инференса с низкой задержкой.
  • Замена сервера OpenPI на более быстрый движок без изменения кода клиента.
  • Сравнение задержки VLA-моделей при разных точностях на Thor, Orin или RTX 4090.
  • Оценка чекпойнта π0.5 на симуляционном наборе LIBERO-10.

Быстрый старт

  1. 1

    Клонируйте репозиторий вместе с подмодулями

    git clone --recursive https://github.com/RLinf/APXinf-robo.git
  2. 2

    Создайте виртуальное окружение и установите maturin

    python3 -m venv .venv && source .venv/bin/activate && pip install maturin
  3. 3

    Соберите и установите Python-привязку ApxInf и пакет Robo

    CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]"
  4. 4

    Запустите бенчмарк PI-0.5 со случайными весами

    python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5

Что важно знать

  • Требуются GPU NVIDIA, CUDA toolkit, Rust и cmake; кроме того, ядра компилируются для конкретной архитектуры целевой системы.
  • Точность FP8 поддерживается только на Jetson AGX Thor, поскольку в Orin нет тензорных ядер FP8.
  • Для запуска реальной модели нужен каталог с контрольными точками, который не входит в пакет.

Темы

Частые вопросы

Что такое APXinf-robo?
Python-привязки и слой политик для роботов на базе Rust-движка инференса ApxInf, запускающий VLA-модели, например PI-0.5, на Jetson Thor/Orin и GPU RTX. APXinf-robo связывает edge-движок инференса ApxInf с задачами embodied AI. Он предоставляет Python API и совместимый с OpenPI websocket-сервер для запуска vision-language-action (VLA) моделей, таких как PI-0.5, PI0-FAST, GR00T N1.7 и Qwen-Drive, на NVIDIA Jetson AGX Thor и Orin, а также на GPU RTX 4090.
APXinf-robo можно использовать бесплатно? Какая у него лицензия?
APXinf-robo распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
APXinf-robo всё ещё поддерживается?
Активно поддерживается. Последний коммит в APXinf-robo — 29 сент. 2026 г..
Для чего можно использовать APXinf-robo?
Развёртывание VLA-политики на роботе с Jetson для инференса с низкой задержкой. Замена сервера OpenPI на более быстрый движок без изменения кода клиента. Сравнение задержки VLA-моделей при разных точностях на Thor, Orin или RTX 4090. Оценка чекпойнта π0.5 на симуляционном наборе LIBERO-10.
Как установить APXinf-robo?
Клонируйте репозиторий вместе с подмодулями: git clone --recursive https://github.com/RLinf/APXinf-robo.git Создайте виртуальное окружение и установите maturin: python3 -m venv .venv && source .venv/bin/activate && pip install maturin Соберите и установите Python-привязку ApxInf и пакет Robo: CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" Запустите бенчмарк PI-0.5 со случайными весами: python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
Где скачать APXinf-robo?
Исходный код и инструкции по установке — на GitHub: https://github.com/RLinf/APXinf-robo

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты