Repolode
Enviar
pollen-robotics

pollen-robotics/microduck_rl

Entornos de entrenamiento por aprendizaje por refuerzo que enseñan al robot bípedo Microduck de ~25 cm a caminar, levantarse y hacer trucos en una simulación de MuJoCo.

Ver en GitHubSitio web
Estrellas
2,827
Forks
680
Issues abiertos
61
Último commit
anteayer

¿Qué es?

microduck_rl contiene los entornos de entrenamiento por aprendizaje por refuerzo para Microduck, un robot bípedo de unos 800 g y 25 cm de altura. Está basado en mjlab (MuJoCo Warp) y entrena políticas PPO a 50 Hz. Las políticas entrenadas se exportan a ONNX y se implementan en el robot físico mediante el runtime independiente de Microduck.

El proyecto abarca varias tareas: caminar siguiendo una velocidad objetivo, recuperarse de caídas, levantarse, pasar de sentado a de pie, recoger objetos del suelo, patear una pelota, hacer volteretas hacia delante y caminar con patines. La transferencia de la simulación al mundo real se aborda mediante el modelo de actuador BAM Dynamixel XL330, la aleatorización del dominio aplicada al voltaje de la batería y a la fricción, y variantes opcionales de cada tarea que simulan la holgura de los engranajes.

El repositorio también incluye herramientas para exportar modelos ONNX, ejecutar políticas en MuJoCo con CPU y control mediante teclado, y publicar políticas en Hugging Face Hub. El entrenamiento puede ejecutarse localmente en una GPU CUDA o en Hugging Face Jobs.

Funciones clave

  • 01Entrena políticas de marcha, equilibrio, recuperación de caídas y trucos para el bípedo Microduck en MuJoCo.
  • 02Modela los servos Dynamixel XL330 con el modelo de actuador BAM y aleatorización del dominio.
  • 03Incluye variantes con holgura que simulan un juego de ±1° en cada articulación de los servos.
  • 04Exporta políticas a ONNX con el normalizador de observaciones integrado para su implementación.
  • 05Incluye una simulación con CPU y control por teclado para probar políticas exportadas.
  • 06Publica políticas en Hugging Face Hub en un formato que puede cargar el daemon del robot.

Casos de uso

  • Entrenar una marcha o un truco personalizados para un robot Microduck.
  • Investigar la transferencia de la simulación al mundo real en robots bípedos pequeños accionados por servos.
  • Probar políticas ONNX exportadas en una simulación antes de ejecutarlas en el hardware.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/pollen-robotics/microduck_rl
  2. 2

    Entra en el directorio del proyecto

    cd microduck_rl
  3. 3

    Entrena la política de marcha (necesitas una GPU CUDA y uv)

    uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096
  4. 4

    Controla la política exportada con el teclado en MuJoCo para CPU (después de exportarla a ONNX)

    uv run scripts/infer_policy.py --walking output.onnx

Antes de usarlo

  • El entrenamiento requiere una GPU CUDA, ya que se ejecuta mediante MuJoCo Warp.
  • Las mallas de los modelos 3D tienen una licencia CC BY-NC-SA 4.0, que no permite el uso comercial, mientras que el código tiene licencia Apache-2.0.
  • Con 4096 envs, entrenar una marcha funcional lleva aproximadamente entre 1 y 2 horas.

En colecciones

Frameworks y entornos de aprendizaje por refuerzoProyectos de robótica e IA encarnada

Temas

#reinforcement-learning#robotics#mujoco#sim2real#bipedal-robot#ppo#onnx

Preguntas frecuentes

¿Qué es microduck_rl?
Entornos de entrenamiento por aprendizaje por refuerzo que enseñan al robot bípedo Microduck de ~25 cm a caminar, levantarse y hacer trucos en una simulación de MuJoCo. microduck_rl contiene los entornos de entrenamiento por aprendizaje por refuerzo para Microduck, un robot bípedo de unos 800 g y 25 cm de altura. Está basado en mjlab (MuJoCo Warp) y entrena políticas PPO a 50 Hz. Las políticas entrenadas se exportan a ONNX y se implementan en el robot físico mediante el runtime independiente de Microduck.
¿microduck_rl es gratuito? ¿Qué licencia tiene?
microduck_rl es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿microduck_rl sigue mantenido?
Mantenimiento activo. El último commit de microduck_rl fue el 5 nov 2026.
¿Para qué puedo usar microduck_rl?
Entrenar una marcha o un truco personalizados para un robot Microduck. Investigar la transferencia de la simulación al mundo real en robots bípedos pequeños accionados por servos. Probar políticas ONNX exportadas en una simulación antes de ejecutarlas en el hardware.
¿Cómo se instala microduck_rl?
Clona el repositorio: git clone https://github.com/pollen-robotics/microduck_rl Entra en el directorio del proyecto: cd microduck_rl Entrena la política de marcha (necesitas una GPU CUDA y uv): uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096 Controla la política exportada con el teclado en MuJoCo para CPU (después de exportarla a ONNX): uv run scripts/infer_policy.py --walking output.onnx
¿Dónde consigo microduck_rl?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/pollen-robotics/microduck_rl

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados