Код для обучения и инференса WALL-OSS — семейства открытых embodied foundation models для универсального управления манипуляциями роботов.
Wall-X — кодовая база для обучения и инференса embodied foundation models серии WALL, предназначенных для освоения роботами универсальных навыков манипуляции на основе данных о физическом взаимодействии. Репозиторий охватывает весь процесс: подготовку датасетов в формате LeRobot, настройку моделей, дообучение, запуск инференса и развёртывание модели для оценки с замкнутым или разомкнутым контуром.
Репозиторий поддерживает несколько вариантов генерации действий, в том числе action heads на основе flow matching и FAST, а также предоставляет предварительно обученные чекпойнты семейства WALL-OSS на Hugging Face. Обучение запускается с помощью FSDP trainer, а инференс можно предоставлять через WebSocket-сервер. В качестве дополнительной настройки доступен инструмент для оценки в симуляторе LIBERO.
Проект рассчитан на Python 3.10, PyTorch, FlashAttention и CUDA 12.x в Ubuntu 22.04. Исходный код CUDA-операторов компилируется при установке, поэтому нужна рабочая среда для сборки с GPU.
Создайте и активируйте окружение conda с Python 3.10
conda create --name wallx python=3.10Установите зависимости
pip install -r requirements.txtУстановите Wall-X, который компилирует CUDA-операторы
MAX_JOBS=8 pip install --no-build-isolation -e .Запустите минимальный пример инференса с загруженным чекпойнтом
python scripts/fake_inference.py --checkpoint-path <path/to/checkpoint>Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытая базовая vision-language-action-модель NVIDIA GR00T N1.7 для навыков управления гуманоидными роботами и манипуляции, с инструментами дообучения и развёртывания.
Библиотека PyTorch с моделями, датасетами и инструментами для робототехники в реальных условиях: управление оборудованием, сбор данных, обучение и оценка политик.
Открытые VLA-модели для робототехники от Physical Intelligence: предобученные чекпойнты и примеры дообучения.
Набор для сборки робота-манипулятора «ведущий — ведомый» с открытой конструкцией: 5 степеней свободы и захват, детали для 3D-печати и совместимая с LeRobot компоновка суставов.
Масштабный симуляционный фреймворк на базе robosuite для обучения роботов-универсалов бытовым кухонным задачам и их бенчмаркинга.
Бенчмарк имитационного обучения для управления всем телом с окружениями MuJoCo и MJX для гуманоидов, четвероногих роботов и биомеханических моделей человека.