Repolode
投稿する
X-Square-Robot

X-Square-Robot/wall-x

汎用ロボット操作を目的とするオープンソースの身体性基盤モデル、WALL-OSSシリーズの学習・推論コード。

GitHub で見る公式サイト
スター
1,313
フォーク
111
未解決の Issue
52
最終コミット
2 か月前

これは何？

Wall-Xは、物理的なインタラクションデータから学習した汎用操作スキルをロボットに身につけさせることを目指す、身体性基盤モデルWALLシリーズの学習・推論コードベースです。LeRobot形式のデータセット準備やモデル設定から、ファインチューニング、推論の実行、クローズドループまたはオープンループ評価用のモデル配信まで、一連のワークフローをカバーします。

flow-matchingやFAST action headなど、複数のアクション生成方式に対応し、Hugging FaceでWALL-OSSファミリーの事前学習済みチェックポイントを提供しています。学習にはFSDP trainerを使用し、推論はWebSocket server経由で公開できます。オプションとして、LIBEROシミュレーターの評価用ヘルパーも利用できます。

Ubuntu 22.04上でPython 3.10、PyTorch、FlashAttention、CUDA 12.xを使用します。CUDA operatorのソースはインストール時にコンパイルされるため、GPU向けのビルド環境が必要です。

主な機能

  • 01FSDP trainerを使い、LeRobot形式のデータセットでモデルをファインチューニングします。
  • 02flow-matchingとFASTによるアクション生成方式に対応します。
  • 03Hugging Faceで公開されているWALL-OSSの事前学習済みチェックポイントを読み込みます。
  • 04WebSocket server経由でモデルのアクションを配信します。
  • 05LeRobotのground-truthデータとのオープンループ評価機能と、LIBEROシミュレーターの起動スクリプトを備えています。

ユースケース

  • 独自のロボット操作データセットでvision-language-actionモデルをファインチューニングする。
  • 実機ロボットまたはシミュレーションで、事前学習済みの身体性モデルを使って推論を実行する。
  • 記録済みのデモに対するオープンループのアクション予測を比較する。
  • ロボットポリシー向けのflow-matchingやFAST action headを研究する。

クイックスタート

  1. 1

    Python 3.10 を使う conda 環境を作成して有効化する

    conda create --name wallx python=3.10
  2. 2

    依存関係をインストールする

    pip install -r requirements.txt
  3. 3

    CUDA オペレーターをコンパイルする Wall-X をインストールする

    MAX_JOBS=8 pip install --no-build-isolation -e .
  4. 4

    ダウンロードしたチェックポイントを使って最小限の推論例を実行する

    python scripts/fake_inference.py --checkpoint-path <path/to/checkpoint>

使う前に知っておきたいこと

  • NVIDIA CUDA GPU が必要です。また、インストール時に CUDA オペレーターと flash-attn がコンパイルされます。
  • セットアップは大規模で、LeRobot、DMuon、flash-attn など、複数の依存関係を手動でインストールする必要があります。
  • README の対象環境は Ubuntu 22.04、CUDA 12.x、Python 3.10 です。

収録されている特集

ロボティクス・身体性AIプロジェクト

トピック

#robotics#embodied-ai#vision-language-action#foundation-model#pytorch#lerobot#imitation-learning

よくある質問

wall-x とは？
汎用ロボット操作を目的とするオープンソースの身体性基盤モデル、WALL-OSSシリーズの学習・推論コード。 Wall-Xは、物理的なインタラクションデータから学習した汎用操作スキルをロボットに身につけさせることを目指す、身体性基盤モデルWALLシリーズの学習・推論コードベースです。LeRobot形式のデータセット準備やモデル設定から、ファインチューニング、推論の実行、クローズドループまたはオープンループ評価用のモデル配信まで、一連のワークフローをカバーします。
wall-x は無料で使えますか？ライセンスは？
wall-x は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
wall-x は今もメンテナンスされていますか？
半年以内に更新あり。wall-x の最終コミットは 2026年9月18日 です。
wall-x は何に使えますか？
独自のロボット操作データセットでvision-language-actionモデルをファインチューニングする。 実機ロボットまたはシミュレーションで、事前学習済みの身体性モデルを使って推論を実行する。 記録済みのデモに対するオープンループのアクション予測を比較する。 ロボットポリシー向けのflow-matchingやFAST action headを研究する。
wall-x のインストール方法は？
Python 3.10 を使う conda 環境を作成して有効化する: conda create --name wallx python=3.10 依存関係をインストールする: pip install -r requirements.txt CUDA オペレーターをコンパイルする Wall-X をインストールする: MAX_JOBS=8 pip install --no-build-isolation -e . ダウンロードしたチェックポイントを使って最小限の推論例を実行する: python scripts/fake_inference.py --checkpoint-path <path/to/checkpoint>
wall-x はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/X-Square-Robot/wall-x

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト