Repolode
投稿する
pollen-robotics

pollen-robotics/microduck_rl

Microduckの約25 cmの二足歩行ロボットに、歩行、起き上がり、トリック動作を学習させる強化学習環境。

GitHub で見る公式サイト
スター
2,835
フォーク
684
未解決の Issue
61
最終コミット
一昨日

これは何？

microduck_rlは、約800 g、身長25 cmの二足歩行ロボットMicroduck向けの強化学習環境を提供します。mjlab（MuJoCo Warp）をベースに構築されており、50 HzでPPOポリシーを学習します。学習済みポリシーはONNXにエクスポートされ、別プロジェクトのMicroduck runtimeによって実機にデプロイされます。

このプロジェクトでは、速度追従歩行、転倒からの復帰、起き上がり、座る・立つ動作の切り替え、地面の物を拾う動作、ボールを蹴る動作、前転、ローラースケート風の歩容など、さまざまなタスクを扱います。Sim-to-real転移には、BAM Dynamixel XL330アクチュエータモデル、バッテリー電圧と摩擦のドメインランダム化、各タスクで選択できるギアバックラッシュのバリエーションを使用します。

リポジトリには、ONNXモデルのエクスポート、キーボード操作によるCPU版MuJoCo上でのポリシー実行、Hugging Face Hubへのポリシー公開を行うツールも含まれています。学習はローカルのCUDA GPUまたはHugging Face Jobsで実行できます。

主な機能

  • 01MuJoCoでMicroduck二足歩行ロボット向けの歩行、起立、転倒復帰、トリック動作のポリシーを学習します。
  • 02BAMアクチュエータモデルとドメインランダム化を使って、Dynamixel XL330サーボをモデル化します。
  • 03すべてのサーボ関節に±1°のギアの遊びを再現するバックラッシュ版を用意しています。
  • 04デプロイ用に、観測正規化器を組み込んだ状態でポリシーをONNXにエクスポートします。
  • 05エクスポートしたポリシーをテストするための、キーボード操作対応のCPUシミュレーションを備えています。
  • 06ロボットデーモンが読み込める形式で、ポリシーをHugging Face Hubに公開します。

ユースケース

  • Microduckロボット向けに、独自の歩容やトリック動作を学習する。
  • 小型のサーボ駆動二足歩行ロボットにおけるSim-to-real転移を研究する。
  • 実機で動かす前に、エクスポートしたONNXポリシーをシミュレーションでテストする。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/pollen-robotics/microduck_rl
  2. 2

    プロジェクトディレクトリに移動する

    cd microduck_rl
  3. 3

    歩行ポリシーを学習する（CUDA GPUとuvが必要）

    uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096
  4. 4

    ONNXにエクスポートした後、CPU版MuJoCoでキーボードを使ってエクスポート済みポリシーを操作する

    uv run scripts/infer_policy.py --walking output.onnx

使う前に知っておきたいこと

  • 学習はMuJoCo Warp経由で実行されるため、学習にはCUDA GPUが必要です。
  • 3Dモデルのメッシュは非商用のCC BY-NC-SA 4.0ライセンスで、コードはApache-2.0ライセンスです。
  • 実用的な歩行歩容の学習には、4096 envsでおよそ1〜2時間かかります。

収録されている特集

強化学習のフレームワークと学習環境ロボティクス・身体性AIプロジェクト

トピック

#reinforcement-learning#robotics#mujoco#sim2real#bipedal-robot#ppo#onnx

よくある質問

microduck_rl とは？
Microduckの約25 cmの二足歩行ロボットに、歩行、起き上がり、トリック動作を学習させる強化学習環境。 microduck_rlは、約800 g、身長25 cmの二足歩行ロボットMicroduck向けの強化学習環境を提供します。mjlab（MuJoCo Warp）をベースに構築されており、50 HzでPPOポリシーを学習します。学習済みポリシーはONNXにエクスポートされ、別プロジェクトのMicroduck runtimeによって実機にデプロイされます。
microduck_rl は無料で使えますか？ライセンスは？
microduck_rl は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
microduck_rl は今もメンテナンスされていますか？
活発にメンテナンス中。microduck_rl の最終コミットは 2026年11月5日 です。
microduck_rl は何に使えますか？
Microduckロボット向けに、独自の歩容やトリック動作を学習する。 小型のサーボ駆動二足歩行ロボットにおけるSim-to-real転移を研究する。 実機で動かす前に、エクスポートしたONNXポリシーをシミュレーションでテストする。
microduck_rl のインストール方法は？
リポジトリをクローンする: git clone https://github.com/pollen-robotics/microduck_rl プロジェクトディレクトリに移動する: cd microduck_rl 歩行ポリシーを学習する（CUDA GPUとuvが必要）: uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 ONNXにエクスポートした後、CPU版MuJoCoでキーボードを使ってエクスポート済みポリシーを操作する: uv run scripts/infer_policy.py --walking output.onnx
microduck_rl はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/pollen-robotics/microduck_rl

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト