Código de entrenamiento e inferencia para WALL-OSS, una serie de modelos fundacionales open source y encarnados para la manipulación robótica de propósito general.
Wall-X es el código base de entrenamiento e inferencia de la serie WALL de modelos fundacionales encarnados, cuyo objetivo es dotar a los robots de habilidades de manipulación de propósito general aprendidas a partir de datos de interacción física. Abarca todo el flujo de trabajo, desde preparar conjuntos de datos en formato LeRobot y configurar modelos hasta ajustarlos, ejecutar inferencias y servir un modelo para evaluaciones en bucle cerrado o abierto.
El repositorio admite varias ramas de generación de acciones, incluidos los cabezales de acciones flow-matching y FAST, y ofrece checkpoints preentrenados de la familia WALL-OSS en Hugging Face. El entrenamiento se inicia con un entrenador FSDP y la inferencia puede exponerse mediante un servidor WebSocket. También hay disponible, como configuración opcional, una herramienta auxiliar para evaluar en el simulador LIBERO.
El proyecto está dirigido a Python 3.10 con PyTorch, FlashAttention y CUDA 12.x en Ubuntu 22.04. El código fuente de sus operadores CUDA se compila durante la instalación, por lo que se necesita un entorno funcional para compilar con GPU.
Crea y activa un entorno conda con Python 3.10
conda create --name wallx python=3.10Instala los requisitos
pip install -r requirements.txtInstala Wall-X, que compila los operadores CUDA
MAX_JOBS=8 pip install --no-build-isolation -e .Ejecuta el ejemplo mínimo de inferencia con un checkpoint descargado
python scripts/fake_inference.py --checkpoint-path <path/to/checkpoint>Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelo fundacional abierto de visión, lenguaje y acción de NVIDIA (GR00T N1.7) para habilidades generalistas de manipulación con humanoides y robots, con herramientas de ajuste fino y despliegue.
Biblioteca de PyTorch con modelos, conjuntos de datos y herramientas para robótica en el mundo real: control de hardware, recopilación de datos, entrenamiento y evaluación de políticas.
Modelos VLA de robótica de código abierto de Physical Intelligence, con checkpoints preentrenados y ejemplos de fine-tuning.
Kit open source de brazo robótico líder-seguidor con 5 DOF y una pinza, piezas imprimibles en 3D y disposición de articulaciones compatible con LeRobot para teleoperación y aprendizaje por imitación.
Framework de simulación a gran escala, basado en robosuite, para entrenar y evaluar robots generalistas en tareas cotidianas de cocina.
Benchmark de aprendizaje por imitación para el control de cuerpo completo, con entornos MuJoCo y MJX para humanoides, cuadrúpedos y modelos musculoesqueléticos humanos.