Открытый фреймворк для создания embodied-агентов, которые используют LLM-планировщики, VLA-модели манипуляции и память для выполнения задач на симуляторах и реальных роботах.
RLinf/APXinf-robo
Python-привязки и слой политик для роботов на базе Rust-движка инференса ApxInf, запускающий VLA-модели, например PI-0.5, на Jetson Thor/Orin и GPU RTX.
- Звёзды
- 227
- Форки
- 28
- Открытые issues
- 1
- Последний коммит
- 21 день назад
Что это?
APXinf-robo связывает edge-движок инференса ApxInf с задачами embodied AI. Он предоставляет Python API и совместимый с OpenPI websocket-сервер для запуска vision-language-action (VLA) моделей, таких как PI-0.5, PI0-FAST, GR00T N1.7 и Qwen-Drive, на NVIDIA Jetson AGX Thor и Orin, а также на GPU RTX 4090.
В пакете есть три точки входа: базовый интерфейс модели, который принимает кадры с уже изменённым размером и возвращает нормализованные действия; интерфейс политики для робота, который обрабатывает исходные наблюдения — изменяет размер изображений, выполняет токенизацию и нормализацию, а также запускает flow sampler; и websocket-сервер. Пресеты роботов, например franka_libero и unitree_g1, задают поля камер, кодирование состояния и ширину вектора действий. Поддерживаются точности BF16, FP8 (только Thor) и INT8; для FP8 нужны данные калибровки per-tensor.
В репозитории также есть скрипты для замеров задержки на нескольких уровнях и стенд для оценки на LIBERO-10, а также исходный код CUDA-ядер, CUTLASS и FlashAttention. Сам движок подключён как git submodule в apxinf/, а при сборке компилируются ядра для архитектуры GPU машины, на которой выполняется сборка.
Ключевые возможности
- 01Запускает модели PI-0.5, PI0-FAST, GR00T N1.7 и Qwen-Drive на Jetson и GPU RTX.
- 02Предоставляет Python API на уровнях базовой модели, политики и websocket-сервера.
- 03Поддерживает совместимый с OpenPI websocket-протокол, к которому может подключаться существующий код openpi-client.
- 04Поддерживает точности BF16, INT8 и FP8 (только Thor).
- 05Включает бенчмарки задержки и скрипты оценки задач LIBERO-10.
Сценарии использования
- Развёртывание VLA-политики на роботе с Jetson для инференса с низкой задержкой.
- Замена сервера OpenPI на более быстрый движок без изменения кода клиента.
- Сравнение задержки VLA-моделей при разных точностях на Thor, Orin или RTX 4090.
- Оценка чекпойнта π0.5 на симуляционном наборе LIBERO-10.
Быстрый старт
- 1
Клонируйте репозиторий вместе с подмодулями
git clone --recursive https://github.com/RLinf/APXinf-robo.git - 2
Создайте виртуальное окружение и установите maturin
python3 -m venv .venv && source .venv/bin/activate && pip install maturin - 3
Соберите и установите Python-привязку ApxInf и пакет Robo
CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" - 4
Запустите бенчмарк PI-0.5 со случайными весами
python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
Что важно знать
- Требуются GPU NVIDIA, CUDA toolkit, Rust и cmake; кроме того, ядра компилируются для конкретной архитектуры целевой системы.
- Точность FP8 поддерживается только на Jetson AGX Thor, поскольку в Orin нет тензорных ядер FP8.
- Для запуска реальной модели нужен каталог с контрольными точками, который не входит в пакет.
Темы
Частые вопросы
- Что такое APXinf-robo?
- Python-привязки и слой политик для роботов на базе Rust-движка инференса ApxInf, запускающий VLA-модели, например PI-0.5, на Jetson Thor/Orin и GPU RTX. APXinf-robo связывает edge-движок инференса ApxInf с задачами embodied AI. Он предоставляет Python API и совместимый с OpenPI websocket-сервер для запуска vision-language-action (VLA) моделей, таких как PI-0.5, PI0-FAST, GR00T N1.7 и Qwen-Drive, на NVIDIA Jetson AGX Thor и Orin, а также на GPU RTX 4090.
- APXinf-robo можно использовать бесплатно? Какая у него лицензия?
- APXinf-robo распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- APXinf-robo всё ещё поддерживается?
- Активно поддерживается. Последний коммит в APXinf-robo — 29 сент. 2026 г..
- Для чего можно использовать APXinf-robo?
- Развёртывание VLA-политики на роботе с Jetson для инференса с низкой задержкой. Замена сервера OpenPI на более быстрый движок без изменения кода клиента. Сравнение задержки VLA-моделей при разных точностях на Thor, Orin или RTX 4090. Оценка чекпойнта π0.5 на симуляционном наборе LIBERO-10.
- Как установить APXinf-robo?
- Клонируйте репозиторий вместе с подмодулями: git clone --recursive https://github.com/RLinf/APXinf-robo.git Создайте виртуальное окружение и установите maturin: python3 -m venv .venv && source .venv/bin/activate && pip install maturin Соберите и установите Python-привязку ApxInf и пакет Robo: CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" Запустите бенчмарк PI-0.5 со случайными весами: python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
- Где скачать APXinf-robo?
- Исходный код и инструкции по установке — на GitHub: https://github.com/RLinf/APXinf-robo
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Компактный нативный движок инференса для запуска DeepSeek V4 Flash и других выбранных крупных моделей на потребительском оборудовании с Metal, CUDA и ROCm.
Открытый Rust-набор инструментов для записи, визуализации, запросов и потоковой передачи мультимодальных данных робототехники и датчиков во времени.
Автоматически превращает тему или ключевое слово в готовый короткий ролик: создаёт сценарий, озвучку, подбирает видеоряд, добавляет субтитры и музыку.
Механизм инференса на чистом C запускает очень большие MoE-модели на обычном оборудовании, подгружая выбранных экспертов с диска.
Фреймворк с открытым исходным кодом на базе PyTorch для глубокого обучения на медицинских изображениях: предобработка, сети, функции потерь и метрики оценки.