Repolode
Enviar
RLinf

RLinf/APXinf-robo

Bindings de Python y capa de políticas robóticas sobre el motor de inferencia Rust ApxInf, que ejecuta modelos VLA como PI-0.5 en Jetson Thor/Orin y GPU RTX.

Ver en GitHub
Estrellas
227
Forks
28
Issues abiertos
1
Último commit
hace 21 días

¿Qué es?

APXinf-robo conecta el motor de inferencia en el borde ApxInf con cargas de trabajo de IA corporeizada. Ofrece una API de Python y un servidor websocket compatible con OpenPI para ejecutar modelos de visión, lenguaje y acción (VLA), como PI-0.5, PI0-FAST, GR00T N1.7 y Qwen-Drive, en NVIDIA Jetson AGX Thor y Orin, así como en GPU RTX 4090.

El paquete ofrece tres puntos de entrada: una interfaz básica del modelo que recibe fotogramas ya redimensionados y devuelve acciones normalizadas; una interfaz de políticas robóticas que se encarga del redimensionamiento, la tokenización, la normalización y el muestreador de flujo a partir de observaciones sin procesar; y un servidor websocket. Los presets de robot, como franka_libero y unitree_g1, definen los campos de cámara, la codificación del estado y el ancho de las acciones. Las precisiones compatibles son BF16, FP8 (solo Thor) e INT8; FP8 requiere datos de calibración por tensor.

El repositorio también incluye scripts para medir la latencia en varias capas y un entorno de evaluación para LIBERO-10, además de incorporar el código fuente de kernels CUDA, CUTLASS y FlashAttention. El motor está en un submódulo de Git en apxinf/, y la compilación genera kernels para la arquitectura de GPU de la máquina donde se ejecuta.

Funciones clave

  • 01Ejecuta los modelos PI-0.5, PI0-FAST, GR00T N1.7 y Qwen-Drive en GPU Jetson y RTX.
  • 02Ofrece una API de Python en los niveles de modelo básico, políticas y servidor websocket.
  • 03Proporciona un protocolo websocket compatible con OpenPI para que pueda conectarse el código existente de openpi-client.
  • 04Admite las precisiones BF16, INT8 y FP8, esta última solo en Thor.
  • 05Incluye benchmarks de latencia y scripts para evaluar tareas de LIBERO-10.

Casos de uso

  • Implementar una política VLA en un robot Jetson con inferencia de baja latencia.
  • Reemplazar un servidor OpenPI por un motor más rápido sin cambiar el código del cliente.
  • Medir la latencia de modelos VLA con distintas precisiones en Thor, Orin o RTX 4090.
  • Evaluar un checkpoint de π0.5 en el conjunto de simulación LIBERO-10.

Inicio rápido

  1. 1

    Clona el repositorio con los submódulos

    git clone --recursive https://github.com/RLinf/APXinf-robo.git
  2. 2

    Crea un entorno virtual e instala maturin

    python3 -m venv .venv && source .venv/bin/activate && pip install maturin
  3. 3

    Compila e instala el enlace de Python de ApxInf y el paquete Robo

    CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]"
  4. 4

    Ejecuta el benchmark PI-0.5 con pesos aleatorios

    python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5

Antes de usarlo

  • Se requiere una GPU NVIDIA, CUDA toolkit, Rust y cmake. Además, los kernels se compilan para la arquitectura específica del entorno de despliegue.
  • La precisión FP8 solo funciona en Jetson AGX Thor, ya que Orin no cuenta con Tensor Cores FP8.
  • Para ejecutar un modelo real se necesita un directorio de checkpoints que no se incluye con el paquete.

Temas

#vla#robotics#embodied-ai#inference-engine#cuda#jetson#tensorrt-alternative#python

Preguntas frecuentes

¿Qué es APXinf-robo?
Bindings de Python y capa de políticas robóticas sobre el motor de inferencia Rust ApxInf, que ejecuta modelos VLA como PI-0.5 en Jetson Thor/Orin y GPU RTX. APXinf-robo conecta el motor de inferencia en el borde ApxInf con cargas de trabajo de IA corporeizada. Ofrece una API de Python y un servidor websocket compatible con OpenPI para ejecutar modelos de visión, lenguaje y acción (VLA), como PI-0.5, PI0-FAST, GR00T N1.7 y Qwen-Drive, en NVIDIA Jetson AGX Thor y Orin, así como en GPU RTX 4090.
¿APXinf-robo es gratuito? ¿Qué licencia tiene?
APXinf-robo es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿APXinf-robo sigue mantenido?
Mantenimiento activo. El último commit de APXinf-robo fue el 29 sept 2026.
¿Para qué puedo usar APXinf-robo?
Implementar una política VLA en un robot Jetson con inferencia de baja latencia. Reemplazar un servidor OpenPI por un motor más rápido sin cambiar el código del cliente. Medir la latencia de modelos VLA con distintas precisiones en Thor, Orin o RTX 4090. Evaluar un checkpoint de π0.5 en el conjunto de simulación LIBERO-10.
¿Cómo se instala APXinf-robo?
Clona el repositorio con los submódulos: git clone --recursive https://github.com/RLinf/APXinf-robo.git Crea un entorno virtual e instala maturin: python3 -m venv .venv && source .venv/bin/activate && pip install maturin Compila e instala el enlace de Python de ApxInf y el paquete Robo: CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" Ejecuta el benchmark PI-0.5 con pesos aleatorios: python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
¿Dónde consigo APXinf-robo?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/RLinf/APXinf-robo

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados