Repolode
hao-ai-lab

hao-ai-lab/ORA

Открытый агентный harness, который позволяет языковым моделям с открытыми весами управлять роботами без предварительного обучения в симуляторах LIBERO, RoboTwin и RoboDojo.

Звёзды
112
Форки
4
Открытые issues
0
Последний коммит
17 дней назад

Что это?

ORA — это агентный harness для манипуляций роботом. Он подключает языковую модель с открытыми весами через API, совместимый с OpenAI, или Anthropic API к роботу либо симулятору и позволяет модели вызывать инструменты для восприятия, генерации вариантов захвата и планирования движений. Проект рассчитан на работу без предварительного обучения: не нужны ни vision-language-action-модель, ни обучение робота, ни память для конкретных задач.

Harness передаёт модели задачу, руководство по роботу и контракты инструментов, а также обрабатывает длинные результаты вызовов инструментов в рамках эпизода. Супервизор проверяет и отправляет на выполнение каждое предложенное моделью действие, поэтому модель не может его обойти. В репозитории есть три бенчмарка: LIBERO / LIBERO-Pro (Panda), RoboTwin 2.0 (двурукий ALOHA) и RoboDojo (ARX на Isaac Sim 5.1); каждый запускается в отдельном изолированном интерпретаторе.

Все запросы к модели, вызовы инструментов, действия и квитанции записываются и могут быть воспроизведены в терминальном UI или просмотрены в веб-интерфейсе для изучения свидетельств. Пользователи также могут отправлять сообщения работающему агенту; такие запуски помечаются как выполнявшиеся с участием человека.

Ключевые возможности

  • 01Подключается к API моделей, совместимым с OpenAI, или к Anthropic API — размещённым в облаке или развёрнутым самостоятельно.
  • 02Предоставляет модели инструменты для восприятия (сегментация SAM3, геометрия по глубине), генерации вариантов захвата и планирования движений с помощью CuRobo.
  • 03Супервизор проверяет и выполняет каждое действие до того, как оно достигнет робота.
  • 04Запускает бенчмарки LIBERO, RoboTwin 2.0 и RoboDojo с их официальными проверками успешности.
  • 05Записывает и запечатывает каждый запрос, действие и квитанцию; записи можно воспроизводить в терминальном UI и просматривать в веб-интерфейсе.

Сценарии использования

  • Оценка языковых моделей с открытыми весами на бенчмарках манипуляций роботом без обучения.
  • Сравнение вариантов архитектуры агентных harness для воплощённых задач в симуляции.
  • Изучение и воспроизведение решений агента, вызовов инструментов и действий из прошлых запусков.
  • Управление работающим агентом-роботом с помощью сообщений из терминального интерфейса.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/hao-ai-lab/ORA.git && cd ORA
  2. 2

    Установите зафиксированное Python-окружение ORA

    uv sync --all-extras --locked
  3. 3

    Укажите API-ключ модели

    export DEEPSEEK_LOW_API_KEY=sk-...
  4. 4

    Запустите ограниченный проверочный эпизод без симулятора и GPU

    uv run --locked ora run --env synthetic

Что важно знать

  • Для робототехнических бенчмарков нужна машина с Linux и видеокартой NVIDIA объёмом 32 ГБ или более; в README проверена работа только с определёнными видеокартами.
  • Для запуска бенчмарков нужен API-ключ модели, а в примере по умолчанию используется эндпоинт DeepSeek.
  • Релиз в PyPI пока не выпущен, поэтому сейчас установка выполняется из клона исходного репозитория.

В подборках

Темы

Частые вопросы

Что такое ORA?
Открытый агентный harness, который позволяет языковым моделям с открытыми весами управлять роботами без предварительного обучения в симуляторах LIBERO, RoboTwin и RoboDojo. ORA — это агентный harness для манипуляций роботом. Он подключает языковую модель с открытыми весами через API, совместимый с OpenAI, или Anthropic API к роботу либо симулятору и позволяет модели вызывать инструменты для восприятия, генерации вариантов захвата и планирования движений. Проект рассчитан на работу без предварительного обучения: не нужны ни vision-language-action-модель, ни обучение робота, ни память для конкретных задач.
ORA можно использовать бесплатно? Какая у него лицензия?
ORA распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ORA всё ещё поддерживается?
Активно поддерживается. Последний коммит в ORA — 21 окт. 2026 г..
Для чего можно использовать ORA?
Оценка языковых моделей с открытыми весами на бенчмарках манипуляций роботом без обучения. Сравнение вариантов архитектуры агентных harness для воплощённых задач в симуляции. Изучение и воспроизведение решений агента, вызовов инструментов и действий из прошлых запусков. Управление работающим агентом-роботом с помощью сообщений из терминального интерфейса.
Как установить ORA?
Клонируйте репозиторий: git clone https://github.com/hao-ai-lab/ORA.git && cd ORA Установите зафиксированное Python-окружение ORA: uv sync --all-extras --locked Укажите API-ключ модели: export DEEPSEEK_LOW_API_KEY=sk-... Запустите ограниченный проверочный эпизод без симулятора и GPU: uv run --locked ora run --env synthetic
Где скачать ORA?
Исходный код и инструкции по установке — на GitHub: https://github.com/hao-ai-lab/ORA

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

ASPIRE — фреймворк, в котором coding agents итеративно дорабатывают повторно используемые навыки роботов для симуляции и реальных манипуляционных задач вместо обучения весов модели.

964+47 за неделю88PythonApache-2.0Обновлён 23 дня назад

Платформа для симуляции в робототехнике и embodied AI: объединяет мультифизический движок, фотореалистичный рендерер и кроссплатформенный компилятор с интерфейсом на Python.

30,2 тыс.+49 за неделю2,9 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 6 часов назад