Repolode
Enviar
RLinf

RLinf/APXinf-robo

Bindings Python e camada de políticas robóticas sobre o mecanismo de inferência Rust ApxInf, que executa modelos VLA como PI-0.5 em Jetson Thor/Orin e GPUs RTX.

Ver no GitHub
Estrelas
227
Forks
28
Issues abertas
1
Último commit
há 21 dias

O que é?

APXinf-robo conecta o mecanismo de inferência de borda ApxInf a cargas de trabalho de IA incorporada. Ele oferece uma API Python e um servidor websocket compatível com OpenPI para executar modelos vision-language-action (VLA), como PI-0.5, PI0-FAST, GR00T N1.7 e Qwen-Drive, em NVIDIA Jetson AGX Thor e Orin, além de GPUs RTX 4090.

O pacote oferece três pontos de entrada: uma interface direta para o modelo, que recebe frames redimensionados previamente e retorna ações normalizadas; uma interface de política robótica, que processa redimensionamento, tokenização, normalização e o amostrador de fluxo a partir de observações brutas; e um servidor websocket. Presets de robôs, como franka_libero e unitree_g1, definem os campos de câmera, a codificação do estado e a dimensão das ações. As precisões compatíveis são BF16, FP8 (somente Thor) e INT8; FP8 requer dados de calibração por tensor.

O repositório também inclui scripts de benchmark de latência em várias camadas e um harness de avaliação LIBERO-10, além de incorporar os fontes dos kernels CUDA, CUTLASS e FlashAttention. O mecanismo em si é um submódulo git em apxinf/, e o build compila kernels para a arquitetura de GPU da máquina em que é executado.

Recursos principais

  • 01Executa os modelos PI-0.5, PI0-FAST, GR00T N1.7 e Qwen-Drive em GPUs Jetson e RTX.
  • 02Oferece uma API Python nos níveis de interface direta para o modelo, política e servidor websocket.
  • 03Disponibiliza um protocolo websocket compatível com OpenPI, permitindo a conexão de código openpi-client existente.
  • 04Oferece suporte às precisões BF16, INT8 e FP8, exclusiva do Thor.
  • 05Inclui benchmarks de latência e scripts de avaliação de tarefas LIBERO-10.

Casos de uso

  • Implantar uma política VLA em um robô Jetson com inferência de baixa latência.
  • Substituir um servidor OpenPI por um mecanismo mais rápido sem alterar o código do cliente.
  • Comparar a latência de modelos VLA em diferentes precisões no Thor, Orin ou RTX 4090.
  • Avaliar um checkpoint π0.5 no conjunto de simulações LIBERO-10.

Início rápido

  1. 1

    Clone o repositório com os submódulos

    git clone --recursive https://github.com/RLinf/APXinf-robo.git
  2. 2

    Crie um ambiente virtual e instale maturin

    python3 -m venv .venv && source .venv/bin/activate && pip install maturin
  3. 3

    Compile e instale o binding Python do ApxInf e o pacote Robo

    CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]"
  4. 4

    Execute o benchmark PI-0.5 com pesos aleatórios

    python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5

Antes de usar

  • É necessária uma GPU NVIDIA, CUDA toolkit, Rust e cmake. Além disso, os kernels são compilados para a arquitetura específica do ambiente de implantação.
  • A precisão FP8 funciona apenas no Jetson AGX Thor, pois o Orin não tem Tensor Cores FP8.
  • Para executar um modelo real, é necessário um diretório de checkpoints que não está incluído no pacote.

Tópicos

#vla#robotics#embodied-ai#inference-engine#cuda#jetson#tensorrt-alternative#python

Perguntas frequentes

O que é APXinf-robo?
Bindings Python e camada de políticas robóticas sobre o mecanismo de inferência Rust ApxInf, que executa modelos VLA como PI-0.5 em Jetson Thor/Orin e GPUs RTX. APXinf-robo conecta o mecanismo de inferência de borda ApxInf a cargas de trabalho de IA incorporada. Ele oferece uma API Python e um servidor websocket compatível com OpenPI para executar modelos vision-language-action (VLA), como PI-0.5, PI0-FAST, GR00T N1.7 e Qwen-Drive, em NVIDIA Jetson AGX Thor e Orin, além de GPUs RTX 4090.
APXinf-robo é gratuito? Qual é a licença?
APXinf-robo é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
APXinf-robo ainda é mantido?
Manutenção ativa. O último commit de APXinf-robo foi em 29 de set. de 2026.
Para que posso usar APXinf-robo?
Implantar uma política VLA em um robô Jetson com inferência de baixa latência. Substituir um servidor OpenPI por um mecanismo mais rápido sem alterar o código do cliente. Comparar a latência de modelos VLA em diferentes precisões no Thor, Orin ou RTX 4090. Avaliar um checkpoint π0.5 no conjunto de simulações LIBERO-10.
Como instalar APXinf-robo?
Clone o repositório com os submódulos: git clone --recursive https://github.com/RLinf/APXinf-robo.git Crie um ambiente virtual e instale maturin: python3 -m venv .venv && source .venv/bin/activate && pip install maturin Compile e instale o binding Python do ApxInf e o pacote Robo: CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" Execute o benchmark PI-0.5 com pesos aleatórios: python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
Onde consigo APXinf-robo?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/RLinf/APXinf-robo

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados