Repolode
Enviar
hao-ai-lab

hao-ai-lab/ORA

Un framework de agentes abierto que permite a modelos de lenguaje de pesos abiertos controlar robots sin entrenamiento previo en tareas de simulación de LIBERO, RoboTwin y RoboDojo.

Ver en GitHub
Estrellas
111
Forks
4
Issues abiertos
0
Último commit
hace 16 días

¿Qué es?

ORA es un framework de agentes para la manipulación robótica. Conecta un modelo de lenguaje de pesos abiertos, mediante una API compatible con OpenAI o Anthropic, con un robot o simulador y permite que el modelo use herramientas de percepción, propuestas de agarre y planificación de movimiento. El proyecto está diseñado para funcionar en zero-shot: no se necesita un modelo de visión, lenguaje y acción, entrenamiento robótico ni memoria específica para cada tarea.

El framework proporciona al modelo la tarea, un manual del robot y los contratos de las herramientas, y gestiona los resultados extensos de estas durante cada episodio. Un supervisor revisa y envía cada acción propuesta por el modelo, de modo que este no puede eludirlo. El repositorio incluye tres entornos de benchmark, LIBERO / LIBERO-Pro (Panda), RoboTwin 2.0 (ALOHA de dos brazos) y RoboDojo (ARX en Isaac Sim 5.1), cada uno ejecutado en su propio intérprete aislado.

Se registran todas las solicitudes al modelo, llamadas a herramientas, acciones y confirmaciones, que se pueden reproducir desde una interfaz de terminal o consultar en un visor web de evidencias. Los usuarios también pueden enviar mensajes a un agente en ejecución; esas ejecuciones se marcan como asistidas por humanos.

Funciones clave

  • 01Se conecta a API de modelos compatibles con OpenAI o Anthropic, alojados o autohospedados.
  • 02Ofrece al modelo herramientas de percepción (segmentación con SAM3 y geometría de profundidad), propuestas de agarre y planificación de movimiento con CuRobo.
  • 03Un supervisor revisa y ejecuta cada acción antes de que llegue al robot.
  • 04Ejecuta los benchmarks LIBERO, RoboTwin 2.0 y RoboDojo con sus comprobaciones oficiales de éxito.
  • 05Registra y sella cada solicitud, acción y confirmación, y permite reproducirlas desde una interfaz de terminal y un visor web.

Casos de uso

  • Evaluar modelos de lenguaje de pesos abiertos en benchmarks de manipulación robótica sin entrenamiento.
  • Comparar diseños de frameworks de agentes para tareas de robótica en simulación.
  • Inspeccionar y reproducir decisiones de agentes, llamadas a herramientas y acciones de ejecuciones anteriores.
  • Guiar un agente robótico en ejecución mediante mensajes enviados desde una interfaz de terminal.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/hao-ai-lab/ORA.git && cd ORA
  2. 2

    Instala el entorno de Python fijado de ORA

    uv sync --all-extras --locked
  3. 3

    Configura la clave de API de tu modelo

    export DEEPSEEK_LOW_API_KEY=sk-...
  4. 4

    Ejecuta un episodio de comprobación acotado, sin simulador ni GPU

    uv run --locked ora run --env synthetic

Antes de usarlo

  • Los benchmarks de robótica requieren una máquina Linux con una GPU NVIDIA de 32 GB o más; el README solo verifica GPU específicas.
  • Para ejecutar los benchmarks se necesita una clave de API de modelo, y el ejemplo predeterminado usa un endpoint de DeepSeek.
  • El lanzamiento en PyPI sigue pendiente, por lo que actualmente la instalación se realiza desde una copia del código fuente.

En colecciones

Proyectos de robótica e IA encarnada

Temas

#robotics#llm-agent#embodied-ai#simulation#manipulation#benchmark#zero-shot

Preguntas frecuentes

¿Qué es ORA?
Un framework de agentes abierto que permite a modelos de lenguaje de pesos abiertos controlar robots sin entrenamiento previo en tareas de simulación de LIBERO, RoboTwin y RoboDojo. ORA es un framework de agentes para la manipulación robótica. Conecta un modelo de lenguaje de pesos abiertos, mediante una API compatible con OpenAI o Anthropic, con un robot o simulador y permite que el modelo use herramientas de percepción, propuestas de agarre y planificación de movimiento. El proyecto está diseñado para funcionar en zero-shot: no se necesita un modelo de visión, lenguaje y acción, entrenamiento robótico ni memoria específica para cada tarea.
¿ORA es gratuito? ¿Qué licencia tiene?
ORA es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ORA sigue mantenido?
Mantenimiento activo. El último commit de ORA fue el 21 oct 2026.
¿Para qué puedo usar ORA?
Evaluar modelos de lenguaje de pesos abiertos en benchmarks de manipulación robótica sin entrenamiento. Comparar diseños de frameworks de agentes para tareas de robótica en simulación. Inspeccionar y reproducir decisiones de agentes, llamadas a herramientas y acciones de ejecuciones anteriores. Guiar un agente robótico en ejecución mediante mensajes enviados desde una interfaz de terminal.
¿Cómo se instala ORA?
Clona el repositorio: git clone https://github.com/hao-ai-lab/ORA.git && cd ORA Instala el entorno de Python fijado de ORA: uv sync --all-extras --locked Configura la clave de API de tu modelo: export DEEPSEEK_LOW_API_KEY=sk-... Ejecuta un episodio de comprobación acotado, sin simulador ni GPU: uv run --locked ora run --env synthetic
¿Dónde consigo ORA?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/hao-ai-lab/ORA

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados

NVlabs / ASPIRE

ASPIRE es un framework en el que agentes de programación perfeccionan iterativamente habilidades reutilizables para robots, en tareas de manipulación simuladas y reales, en lugar de entrenar los pesos del modelo.

IA y Machine Learning#robotics#agents#skill-discovery
961+47 esta semana87PythonApache-2.0Actualizado hace 22 días