Открытый фреймворк для симуляции роботов и обучения навыкам манипуляции, построенный на SAPIEN и поддерживающий параллельные вычисления на GPU.
Open-RUA/uni-robot-agent
Open-source-платформа для управления роботами с помощью LLM-агентов через общий набор инструментов, с поддержкой Codex и Claude Code и интеграциями с симуляторами.
- Звёзды
- 258
- Форки
- 19
- Открытые issues
- 1
- Последний коммит
- вчера
Что это?
uni-robot-agent — это Python-платформа для агентов, управляющих роботами. Она предоставляет агенту общий набор инструментов для управления роботами и получения обратной связи в нескольких симуляторах, а работу с нативными API берут на себя адаптеры. В пакет входят CLI, Python SDK, локальная панель для мониторинга в реальном времени и воспроизведения записей, а также интеграции с симуляторами RoboDojo, RoboUse и RoboLab.
Поддерживаются два режима управления. В Direct агент сам вызывает инструменты робота, а в Hybrid добавляется совместимая модель действий, например Pi0.5. Среду выполнения агента, провайдера моделей, инструменты и окружение можно заменять через явные интерфейсы. В RoboDojo глубина включена по умолчанию; её можно отключить, чтобы использовать только RGB-наблюдения.
Проект рассчитан на исследователей и разработчиков, которые хотят оценивать работу агентов для манипуляций с роботами на открытых моделях. Интеграции с реальными роботами ARX One и Franka заявлены как готовящиеся к выпуску.
Ключевые возможности
- 01Общий интерфейс инструментов для роботов в разных симуляторах
- 02Режимы управления Direct и Hybrid; в Hybrid добавляется модель действий Pi0.5
- 03Python SDK для запуска сессий и реализации собственных стратегий
- 04Локальная веб-панель для мониторинга в реальном времени и воспроизведения сохранённых эпизодов
- 05Возможность заменять среду выполнения агента, провайдеров моделей и окружения
Сценарии использования
- Бенчмаркинг агентов для манипуляций с роботами на задачах RoboDojo или RoboUse
- Тестирование открытых vision-language-моделей для управления роботами с использованием только RGB-наблюдений
- Разработка собственной стратегии управления на основе общих инструментов для роботов
- Просмотр сохранённых запусков агента и вызовов инструментов через панель воспроизведения
Быстрый старт
- 1
Установите пакет из PyPI
pip install uni-robot-agent - 2
Подготовьте интеграцию с RoboDojo
uni-robot-agent setup --integration robodojo - 3
Укажите API-ключ и endpoint провайдера
export UNI_ROBOT_AGENT_API_KEY='YOUR_API_KEY' - 4
Запустите задачу с помощью локальной панели управления
uni-robot-agent run --integration robodojo --deploy local --task stack_bowls --model YOUR_MODEL_ID --action-profile direct --no-sam3 --output-dir ./runs --monitor
Что важно знать
- Настройка рассчитана на среду Python 3.11 на Linux-хосте с GPU.
- Для запуска симулятора необходимы API-ключ модели и endpoint провайдера, совместимый с Responses.
- Интеграции с реальными роботами пока недоступны.
В подборках
Темы
Частые вопросы
- Что такое uni-robot-agent?
- Open-source-платформа для управления роботами с помощью LLM-агентов через общий набор инструментов, с поддержкой Codex и Claude Code и интеграциями с симуляторами. uni-robot-agent — это Python-платформа для агентов, управляющих роботами. Она предоставляет агенту общий набор инструментов для управления роботами и получения обратной связи в нескольких симуляторах, а работу с нативными API берут на себя адаптеры. В пакет входят CLI, Python SDK, локальная панель для мониторинга в реальном времени и воспроизведения записей, а также интеграции с симуляторами RoboDojo, RoboUse и RoboLab.
- uni-robot-agent можно использовать бесплатно? Какая у него лицензия?
- uni-robot-agent распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- uni-robot-agent всё ещё поддерживается?
- Активно поддерживается. Последний коммит в uni-robot-agent — 6 нояб. 2026 г..
- Для чего можно использовать uni-robot-agent?
- Бенчмаркинг агентов для манипуляций с роботами на задачах RoboDojo или RoboUse Тестирование открытых vision-language-моделей для управления роботами с использованием только RGB-наблюдений Разработка собственной стратегии управления на основе общих инструментов для роботов Просмотр сохранённых запусков агента и вызовов инструментов через панель воспроизведения
- Как установить uni-robot-agent?
- Установите пакет из PyPI: pip install uni-robot-agent Подготовьте интеграцию с RoboDojo: uni-robot-agent setup --integration robodojo Укажите API-ключ и endpoint провайдера: export UNI_ROBOT_AGENT_API_KEY='YOUR_API_KEY' Запустите задачу с помощью локальной панели управления: uni-robot-agent run --integration robodojo --deploy local --task stack_bowls --model YOUR_MODEL_ID --action-profile direct --no-sam3 --output-dir ./runs --monitor
- Где скачать uni-robot-agent?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Open-RUA/uni-robot-agent
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытые модели мира, датасеты и инструменты NVIDIA для разработчиков физического ИИ в робототехнике, автономном транспорте и умной инфраструктуре.
Python SDK и платформа приложений для Reachy Mini — выразительного настольного робота с открытым исходным кодом для разработчиков и создателей AI-проектов.
ASPIRE — фреймворк, в котором coding agents итеративно дорабатывают повторно используемые навыки роботов для симуляции и реальных манипуляционных задач вместо обучения весов модели.
Официальный Python SDK для создания серверов и клиентов Model Context Protocol, связывающих LLM-приложения с инструментами, данными и промптами.
Платформа для симуляции в робототехнике и embodied AI: объединяет мультифизический движок, фотореалистичный рендерер и кроссплатформенный компилятор с интерфейсом на Python.