Масштабный симуляционный фреймворк на базе robosuite для обучения роботов-универсалов бытовым кухонным задачам и их бенчмаркинга.
hao-ai-lab/ORA
Открытый агентный harness, который позволяет языковым моделям с открытыми весами управлять роботами без предварительного обучения в симуляторах LIBERO, RoboTwin и RoboDojo.
- Звёзды
- 112
- Форки
- 4
- Открытые issues
- 0
- Последний коммит
- 17 дней назад
Что это?
ORA — это агентный harness для манипуляций роботом. Он подключает языковую модель с открытыми весами через API, совместимый с OpenAI, или Anthropic API к роботу либо симулятору и позволяет модели вызывать инструменты для восприятия, генерации вариантов захвата и планирования движений. Проект рассчитан на работу без предварительного обучения: не нужны ни vision-language-action-модель, ни обучение робота, ни память для конкретных задач.
Harness передаёт модели задачу, руководство по роботу и контракты инструментов, а также обрабатывает длинные результаты вызовов инструментов в рамках эпизода. Супервизор проверяет и отправляет на выполнение каждое предложенное моделью действие, поэтому модель не может его обойти. В репозитории есть три бенчмарка: LIBERO / LIBERO-Pro (Panda), RoboTwin 2.0 (двурукий ALOHA) и RoboDojo (ARX на Isaac Sim 5.1); каждый запускается в отдельном изолированном интерпретаторе.
Все запросы к модели, вызовы инструментов, действия и квитанции записываются и могут быть воспроизведены в терминальном UI или просмотрены в веб-интерфейсе для изучения свидетельств. Пользователи также могут отправлять сообщения работающему агенту; такие запуски помечаются как выполнявшиеся с участием человека.
Ключевые возможности
- 01Подключается к API моделей, совместимым с OpenAI, или к Anthropic API — размещённым в облаке или развёрнутым самостоятельно.
- 02Предоставляет модели инструменты для восприятия (сегментация SAM3, геометрия по глубине), генерации вариантов захвата и планирования движений с помощью CuRobo.
- 03Супервизор проверяет и выполняет каждое действие до того, как оно достигнет робота.
- 04Запускает бенчмарки LIBERO, RoboTwin 2.0 и RoboDojo с их официальными проверками успешности.
- 05Записывает и запечатывает каждый запрос, действие и квитанцию; записи можно воспроизводить в терминальном UI и просматривать в веб-интерфейсе.
Сценарии использования
- Оценка языковых моделей с открытыми весами на бенчмарках манипуляций роботом без обучения.
- Сравнение вариантов архитектуры агентных harness для воплощённых задач в симуляции.
- Изучение и воспроизведение решений агента, вызовов инструментов и действий из прошлых запусков.
- Управление работающим агентом-роботом с помощью сообщений из терминального интерфейса.
Быстрый старт
- 1
Клонируйте репозиторий
git clone https://github.com/hao-ai-lab/ORA.git && cd ORA - 2
Установите зафиксированное Python-окружение ORA
uv sync --all-extras --locked - 3
Укажите API-ключ модели
export DEEPSEEK_LOW_API_KEY=sk-... - 4
Запустите ограниченный проверочный эпизод без симулятора и GPU
uv run --locked ora run --env synthetic
Что важно знать
- Для робототехнических бенчмарков нужна машина с Linux и видеокартой NVIDIA объёмом 32 ГБ или более; в README проверена работа только с определёнными видеокартами.
- Для запуска бенчмарков нужен API-ключ модели, а в примере по умолчанию используется эндпоинт DeepSeek.
- Релиз в PyPI пока не выпущен, поэтому сейчас установка выполняется из клона исходного репозитория.
В подборках
Темы
Частые вопросы
- Что такое ORA?
- Открытый агентный harness, который позволяет языковым моделям с открытыми весами управлять роботами без предварительного обучения в симуляторах LIBERO, RoboTwin и RoboDojo. ORA — это агентный harness для манипуляций роботом. Он подключает языковую модель с открытыми весами через API, совместимый с OpenAI, или Anthropic API к роботу либо симулятору и позволяет модели вызывать инструменты для восприятия, генерации вариантов захвата и планирования движений. Проект рассчитан на работу без предварительного обучения: не нужны ни vision-language-action-модель, ни обучение робота, ни память для конкретных задач.
- ORA можно использовать бесплатно? Какая у него лицензия?
- ORA распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- ORA всё ещё поддерживается?
- Активно поддерживается. Последний коммит в ORA — 21 окт. 2026 г..
- Для чего можно использовать ORA?
- Оценка языковых моделей с открытыми весами на бенчмарках манипуляций роботом без обучения. Сравнение вариантов архитектуры агентных harness для воплощённых задач в симуляции. Изучение и воспроизведение решений агента, вызовов инструментов и действий из прошлых запусков. Управление работающим агентом-роботом с помощью сообщений из терминального интерфейса.
- Как установить ORA?
- Клонируйте репозиторий: git clone https://github.com/hao-ai-lab/ORA.git && cd ORA Установите зафиксированное Python-окружение ORA: uv sync --all-extras --locked Укажите API-ключ модели: export DEEPSEEK_LOW_API_KEY=sk-... Запустите ограниченный проверочный эпизод без симулятора и GPU: uv run --locked ora run --env synthetic
- Где скачать ORA?
- Исходный код и инструкции по установке — на GitHub: https://github.com/hao-ai-lab/ORA
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Симуляционный бенчмарк для проверки embodied AI-агентов на 1 000 повседневных домашних задачах — уборке, готовке и наведении порядка.
Набор робототехнических сред для обучения с подкреплением на базе MuJoCo, реализованных через API Gymnasium.
ASPIRE — фреймворк, в котором coding agents итеративно дорабатывают повторно используемые навыки роботов для симуляции и реальных манипуляционных задач вместо обучения весов модели.
Платформа для симуляции в робототехнике и embodied AI: объединяет мультифизический движок, фотореалистичный рендерер и кроссплатформенный компилятор с интерфейсом на Python.
Открытый фреймворк для симуляции роботов и обучения навыкам манипуляции, построенный на SAPIEN и поддерживающий параллельные вычисления на GPU.