LLMプランナー、VLA操作モデル、メモリを使い、シミュレーターや実機でロボットタスクを実行するエンボディドエージェント構築用のオープンフレームワーク。
RLinf/APXinf-robo
ApxInf Rust推論エンジン向けのPythonバインディングとロボットポリシー層。Jetson Thor/OrinやRTX GPUでVLAモデルを実行
- スター
- 227
- フォーク
- 28
- 未解決の Issue
- 1
- 最終コミット
- 21 日前
これは何?
APXinf-roboは、ApxInfエッジ推論エンジンを身体性AIのワークロードに接続します。Python APIとOpenPI互換のWebSocketサーバーを提供し、NVIDIA Jetson AGX ThorやOrin、RTX 4090 GPU上で、PI-0.5、PI0-FAST、GR00T N1.7、Qwen-Driveなどの視覚・言語・行動(VLA)モデルを実行できます。
パッケージには3つのエントリーポイントがあります。リサイズ済みのフレームを受け取り、正規化されたアクションを返すモデル単体のインターフェース、生の観測データからリサイズ、トークナイズ、正規化、フローサンプラーの処理を行うロボットポリシーインターフェース、そしてWebSocketサーバーです。franka_liberoやunitree_g1などのロボットプリセットでは、カメラのフィールド、状態のエンコード方式、アクションの幅を定義します。対応する精度はBF16、FP8(Thorのみ)、INT8です。FP8にはテンソルごとのキャリブレーションデータが必要です。
このリポジトリには、複数のレイヤーでレイテンシを計測するベンチマークスクリプトと、LIBERO-10評価用ハーネスも含まれています。また、CUDAカーネル、CUTLASS、FlashAttentionのソースコードを同梱しています。エンジン本体はapxinf/にGitサブモジュールとして配置され、ビルド時には実行マシンのGPUアーキテクチャ向けにカーネルがコンパイルされます。
主な機能
- 01JetsonおよびRTX GPU上でPI-0.5、PI0-FAST、GR00T N1.7、Qwen-Driveモデルを実行できます。
- 02モデル単体、ポリシー、WebSocketサーバーの各レベルでPython APIを提供します。
- 03OpenPI互換のWebSocketプロトコルに対応しており、既存のopenpi-clientコードから接続できます。
- 04BF16、INT8、Thor限定のFP8精度に対応しています。
- 05レイテンシのベンチマークとLIBERO-10タスク評価用のスクリプトが含まれています。
ユースケース
- 低レイテンシ推論で、Jetson搭載ロボットにVLAポリシーをデプロイする。
- クライアントコードを変更せずに、OpenPIサーバーをより高速なエンジンに置き換える。
- Thor、Orin、RTX 4090で、精度ごとのVLAモデルのレイテンシをベンチマークする。
- LIBERO-10シミュレーションスイートでπ0.5のチェックポイントを評価する。
クイックスタート
- 1
サブモジュールを含めてリポジトリをクローンする
git clone --recursive https://github.com/RLinf/APXinf-robo.git - 2
仮想環境を作成し、maturinをインストールする
python3 -m venv .venv && source .venv/bin/activate && pip install maturin - 3
ApxInfのPythonバインディングとRoboパッケージをビルドしてインストールする
CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" - 4
ランダムな重みでPI-0.5ベンチマークを実行する
python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
使う前に知っておきたいこと
- NVIDIA GPU、CUDA toolkit、Rust、cmakeが必要です。また、カーネルはデプロイ先のアーキテクチャに合わせてコンパイルされます。
- FP8精度に対応しているのはJetson AGX Thorのみです。OrinにはFP8 Tensor Coreがありません。
- 実際のモデルを実行するには、パッケージに含まれていないチェックポイントディレクトリが必要です。
トピック
よくある質問
- APXinf-robo とは?
- ApxInf Rust推論エンジン向けのPythonバインディングとロボットポリシー層。Jetson Thor/OrinやRTX GPUでVLAモデルを実行 APXinf-roboは、ApxInfエッジ推論エンジンを身体性AIのワークロードに接続します。Python APIとOpenPI互換のWebSocketサーバーを提供し、NVIDIA Jetson AGX ThorやOrin、RTX 4090 GPU上で、PI-0.5、PI0-FAST、GR00T N1.7、Qwen-Driveなどの視覚・言語・行動(VLA)モデルを実行できます。
- APXinf-robo は無料で使えますか?ライセンスは?
- APXinf-robo は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- APXinf-robo は今もメンテナンスされていますか?
- 活発にメンテナンス中。APXinf-robo の最終コミットは 2026年9月29日 です。
- APXinf-robo は何に使えますか?
- 低レイテンシ推論で、Jetson搭載ロボットにVLAポリシーをデプロイする。 クライアントコードを変更せずに、OpenPIサーバーをより高速なエンジンに置き換える。 Thor、Orin、RTX 4090で、精度ごとのVLAモデルのレイテンシをベンチマークする。 LIBERO-10シミュレーションスイートでπ0.5のチェックポイントを評価する。
- APXinf-robo のインストール方法は?
- サブモジュールを含めてリポジトリをクローンする: git clone --recursive https://github.com/RLinf/APXinf-robo.git 仮想環境を作成し、maturinをインストールする: python3 -m venv .venv && source .venv/bin/activate && pip install maturin ApxInfのPythonバインディングとRoboパッケージをビルドしてインストールする: CARGO_TARGET_DIR=target/wheel maturin build --release --features cuda --auditwheel skip -m apxinf/crates/apxinf-py/Cargo.toml && pip install --force-reinstall target/wheel/wheels/apxinf_py-*.whl && pip install -e "./apxinf/python/apxinf[serving]" --config-settings editable_mode=strict && pip install -e ".[libero,serve]" ランダムな重みでPI-0.5ベンチマークを実行する: python scripts/bench_pi05.py --random-weights --precision bf16 --layer l1 --samples 5
- APXinf-robo はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/RLinf/APXinf-robo
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
コンシューマー向けのMetal、CUDA、ROCm対応ハードウェアでDeepSeek V4 Flashなど一部の大規模モデルを動かす、軽量なネイティブ推論エンジン。
ロボティクスやセンサーのマルチモーダル時系列データを記録・可視化・クエリ・ストリーミングする、オープンソースのRustツールキット。
トピックやキーワードから、台本・ナレーション・映像素材・字幕・音楽を自動生成して短い動画を作成します。
ルーティングされたエキスパートをディスクから読み込み、一般的なハードウェアで超大規模MoEモデルを動かす純C製推論エンジン。
医療画像データの深層学習に向けた、PyTorchベースのオープンソースフレームワーク。