Repolode
RLinf

RLinf/APXinf-robo

ApxInf Rust 추론 엔진을 위한 Python 바인딩 및 로봇 정책 계층으로, Jetson Thor/Orin과 RTX GPU에서 PI-0.5 같은 VLA 모델을 실행합니다.

스타
227
포크
28
열린 이슈
1
마지막 커밋
21일 전

어떤 프로젝트인가요?

APXinf-robo는 ApxInf 엣지 추론 엔진을 체화형 AI 워크로드에 연결합니다. Python API와 OpenPI 호환 websocket 서버를 제공해 NVIDIA Jetson AGX Thor 및 Orin, RTX 4090 GPU에서 PI-0.5, PI0-FAST, GR00T N1.7, Qwen-Drive 같은 vision-language-action(VLA) 모델을 실행할 수 있습니다.

이 패키지는 세 가지 진입점을 제공합니다. 크기가 조정된 프레임을 입력받아 정규화된 액션을 반환하는 기본 모델 인터페이스, 원시 관측값을 받아 크기 조정·토큰화·정규화와 flow sampler 처리를 수행하는 로봇 정책 인터페이스, 그리고 websocket 서버입니다. franka_libero와 unitree_g1 같은 로봇 프리셋은 카메라 필드, 상태 인코딩, 액션 차원을 정의합니다. BF16, FP8(Thor 전용), INT8 정밀도를 지원하며, FP8에는 텐서별 캘리브레이션 데이터가 필요합니다.

저장소에는 여러 계층의 지연 시간을 측정하는 벤치마크 스크립트와 LIBERO-10 평가 하네스도 포함되어 있으며, CUDA 커널, CUTLASS, FlashAttention 소스도 함께 제공합니다. 엔진 자체는 apxinf/ 경로의 git submodule이며, 빌드 시 실행 중인 머신의 GPU 아키텍처에 맞춰 커널을 컴파일합니다.

핵심 기능

  • 01Jetson 및 RTX GPU에서 PI-0.5, PI0-FAST, GR00T N1.7, Qwen-Drive 모델을 실행합니다.
  • 02기본 모델, 정책, websocket 서버 계층에서 사용할 수 있는 Python API를 제공합니다.
  • 03OpenPI 호환 websocket 프로토콜을 제공해 기존 openpi-client 코드를 연결할 수 있습니다.
  • 04BF16, INT8 및 Thor 전용 FP8 정밀도를 지원합니다.
  • 05지연 시간 벤치마크와 LIBERO-10 태스크 평가 스크립트를 포함합니다.

활용 사례

  • 지연 시간이 짧은 추론을 위해 Jetson 로봇에 VLA 정책을 배포합니다.
  • 클라이언트 코드를 변경하지 않고 OpenPI 서버를 더 빠른 엔진으로 교체합니다.
  • Thor, Orin 또는 RTX 4090에서 정밀도별 VLA 모델 지연 시간을 벤치마킹합니다.
  • LIBERO-10 시뮬레이션 제품군에서 π0.5 체크포인트를 평가합니다.

빠른 시작

  1. 1

    하위 모듈을 포함해 저장소를 클론합니다

    git clone --recursive https://github.com/RLinf/APXinf-robo.git
  2. 2

    가상 환경을 만들고 maturin을 설치합니다

    python3 -m venv .venv && source .venv/bin/activate && pip install maturin
  3. 3

    ApxInf Python 바인딩과 Robo 패키지를 빌드하고 설치합니다

    CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]"
  4. 4

    무작위 가중치로 PI-0.5 벤치마크를 실행합니다

    python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5

사용 전 알아둘 점

  • NVIDIA GPU, CUDA toolkit, Rust, cmake가 필요하며, 커널은 배포 대상 아키텍처에 맞게 컴파일됩니다.
  • FP8 정밀도는 Jetson AGX Thor에서만 작동합니다. Orin에는 FP8 Tensor Core가 없습니다.
  • 실제 모델을 실행하려면 패키지에 포함되지 않은 체크포인트 디렉터리가 필요합니다.

토픽

자주 묻는 질문

APXinf-robo은(는) 무엇인가요?
ApxInf Rust 추론 엔진을 위한 Python 바인딩 및 로봇 정책 계층으로, Jetson Thor/Orin과 RTX GPU에서 PI-0.5 같은 VLA 모델을 실행합니다. APXinf-robo는 ApxInf 엣지 추론 엔진을 체화형 AI 워크로드에 연결합니다. Python API와 OpenPI 호환 websocket 서버를 제공해 NVIDIA Jetson AGX Thor 및 Orin, RTX 4090 GPU에서 PI-0.5, PI0-FAST, GR00T N1.7, Qwen-Drive 같은 vision-language-action(VLA) 모델을 실행할 수 있습니다.
APXinf-robo은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
APXinf-robo은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
APXinf-robo은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. APXinf-robo의 마지막 커밋은 2026년 9월 29일입니다.
APXinf-robo은(는) 어디에 사용할 수 있나요?
지연 시간이 짧은 추론을 위해 Jetson 로봇에 VLA 정책을 배포합니다. 클라이언트 코드를 변경하지 않고 OpenPI 서버를 더 빠른 엔진으로 교체합니다. Thor, Orin 또는 RTX 4090에서 정밀도별 VLA 모델 지연 시간을 벤치마킹합니다. LIBERO-10 시뮬레이션 제품군에서 π0.5 체크포인트를 평가합니다.
APXinf-robo는 어떻게 설치하나요?
하위 모듈을 포함해 저장소를 클론합니다: git clone --recursive https://github.com/RLinf/APXinf-robo.git 가상 환경을 만들고 maturin을 설치합니다: python3 -m venv .venv && source .venv/bin/activate && pip install maturin ApxInf Python 바인딩과 Robo 패키지를 빌드하고 설치합니다: CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" 무작위 가중치로 PI-0.5 벤치마크를 실행합니다: python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
APXinf-robo은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/RLinf/APXinf-robo

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트