Repolode
Enviar
pollen-robotics

pollen-robotics/microduck_rl

Ambientes de treinamento por reinforcement learning que ensinam o robô bípede Microduck, de ~25 cm, a andar, se levantar e fazer acrobacias em simulações MuJoCo.

Ver no GitHubSite
Estrelas
2,835
Forks
684
Issues abertas
61
Último commit
anteontem

O que é?

microduck_rl reúne ambientes de treinamento por reinforcement learning para o Microduck, um robô bípede de aproximadamente 800 g e 25 cm de altura. O projeto é baseado em mjlab (MuJoCo Warp) e treina políticas PPO a 50 Hz. As políticas treinadas são exportadas para ONNX e implantadas no robô físico pelo Microduck runtime, um projeto separado.

O projeto abrange várias tarefas: caminhada com rastreamento de velocidade, recuperação após quedas, levantar-se, transições entre sentar e ficar de pé, pegar objetos no chão, chutar uma bola, dar cambalhotas para a frente e andar de patins. A transferência da simulação para o mundo real é feita com o modelo de atuador BAM Dynamixel XL330, randomização de domínio na tensão da bateria e no atrito, além de variantes opcionais de cada tarefa com folga nas engrenagens.

O repositório também inclui ferramentas para exportar modelos ONNX, executar políticas no MuJoCo em CPU com controle pelo teclado e publicar políticas no Hugging Face Hub. O treinamento pode ser executado localmente em uma GPU CUDA ou no Hugging Face Jobs.

Recursos principais

  • 01Treina políticas de caminhada, postura em pé, recuperação de quedas e acrobacias para o robô bípede Microduck no MuJoCo.
  • 02Modela servos Dynamixel XL330 com o modelo de atuador BAM e randomização de domínio.
  • 03Oferece variantes com folga que simulam ±1° de jogo nas engrenagens de cada junta com servo.
  • 04Exporta políticas para ONNX com o normalizador de observações incorporado, prontas para implantação.
  • 05Inclui simulação em CPU controlada pelo teclado para testar políticas exportadas.
  • 06Publica políticas no Hugging Face Hub em um formato que o daemon do robô pode carregar.

Casos de uso

  • Treinar uma marcha ou acrobacia personalizada para um robô Microduck.
  • Pesquisar a transferência da simulação para o mundo real em robôs bípedes pequenos acionados por servos.
  • Testar políticas ONNX exportadas em simulação antes de executá-las no hardware.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/pollen-robotics/microduck_rl
  2. 2

    Acesse o diretório do projeto

    cd microduck_rl
  3. 3

    Treine a política de locomoção (é necessária uma GPU CUDA e uv)

    uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096
  4. 4

    Controle a política exportada pelo teclado no MuJoCo para CPU (após exportá-la para ONNX)

    uv run scripts/infer_policy.py --walking output.onnx

Antes de usar

  • O treinamento exige uma GPU CUDA, pois é executado por meio do MuJoCo Warp.
  • As malhas dos modelos 3D estão sob a licença CC BY-NC-SA 4.0, que não permite uso comercial, enquanto o código está sob a licença Apache-2.0.
  • Com 4096 envs, são necessárias cerca de 1 a 2 horas de treinamento para obter uma marcha utilizável.

Em coleções

Frameworks e ambientes de aprendizado por reforçoProjetos de robótica e IA corporificada

Tópicos

#reinforcement-learning#robotics#mujoco#sim2real#bipedal-robot#ppo#onnx

Perguntas frequentes

O que é microduck_rl?
Ambientes de treinamento por reinforcement learning que ensinam o robô bípede Microduck, de ~25 cm, a andar, se levantar e fazer acrobacias em simulações MuJoCo. microduck_rl reúne ambientes de treinamento por reinforcement learning para o Microduck, um robô bípede de aproximadamente 800 g e 25 cm de altura. O projeto é baseado em mjlab (MuJoCo Warp) e treina políticas PPO a 50 Hz. As políticas treinadas são exportadas para ONNX e implantadas no robô físico pelo Microduck runtime, um projeto separado.
microduck_rl é gratuito? Qual é a licença?
microduck_rl é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
microduck_rl ainda é mantido?
Manutenção ativa. O último commit de microduck_rl foi em 5 de nov. de 2026.
Para que posso usar microduck_rl?
Treinar uma marcha ou acrobacia personalizada para um robô Microduck. Pesquisar a transferência da simulação para o mundo real em robôs bípedes pequenos acionados por servos. Testar políticas ONNX exportadas em simulação antes de executá-las no hardware.
Como instalar microduck_rl?
Clone o repositório: git clone https://github.com/pollen-robotics/microduck_rl Acesse o diretório do projeto: cd microduck_rl Treine a política de locomoção (é necessária uma GPU CUDA e uv): uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 Controle a política exportada pelo teclado no MuJoCo para CPU (após exportá-la para ONNX): uv run scripts/infer_policy.py --walking output.onnx
Onde consigo microduck_rl?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/pollen-robotics/microduck_rl

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados