Framework de simulação em larga escala para treinar e avaliar robôs generalistas em tarefas cotidianas de cozinha, baseado no robosuite.
hao-ai-lab/ORA
Um harness de agente aberto que permite a modelos de linguagem com pesos abertos operar robôs zero-shot em tarefas de simulação do LIBERO, RoboTwin e RoboDojo.
- Estrelas
- 111
- Forks
- 4
- Issues abertas
- 0
- Último commit
- há 16 dias
O que é?
ORA é um harness de agente para manipulação robótica. Ele conecta um modelo de linguagem com pesos abertos, por meio de uma API compatível com OpenAI ou da Anthropic, a um robô ou simulador e permite que o modelo chame ferramentas de percepção, propostas de preensão e planejamento de movimento. O projeto tem como objetivo a operação zero-shot: não são necessários modelos vision-language-action, treinamento de robôs nem memória específica para cada tarefa.
O harness fornece ao modelo a tarefa, um manual do robô e os contratos das ferramentas, além de gerenciar resultados longos de ferramentas durante um episódio. Um supervisor verifica e encaminha cada ação proposta pelo modelo, impedindo que ele o contorne. O repositório inclui três ambientes de benchmark: LIBERO / LIBERO-Pro (Panda), RoboTwin 2.0 (ALOHA de braço duplo) e RoboDojo (ARX no Isaac Sim 5.1), cada um executado em seu próprio interpretador isolado.
Cada solicitação ao modelo, chamada de ferramenta, ação e comprovante é registrada e pode ser reproduzida com uma interface de terminal ou consultada em um visualizador de evidências na web. Os usuários também podem enviar mensagens a um agente em execução; essas execuções são identificadas como assistidas por humanos.
Recursos principais
- 01Conecta-se a APIs de modelos compatíveis com OpenAI ou da Anthropic, hospedadas ou auto-hospedadas.
- 02Disponibiliza como ferramentas do modelo percepção (segmentação com SAM3 e geometria de profundidade), propostas de preensão e planejamento de movimento com CuRobo.
- 03Um supervisor verifica e executa cada ação antes que ela chegue ao robô.
- 04Executa os benchmarks LIBERO, RoboTwin 2.0 e RoboDojo com suas verificações oficiais de sucesso.
- 05Registra e sela cada solicitação, ação e comprovante, com reprodução em uma interface de terminal e em um visualizador web.
Casos de uso
- Avaliar modelos de linguagem com pesos abertos em benchmarks de manipulação robótica sem treinamento.
- Comparar designs de harnesses de agentes para tarefas incorporadas em simulação.
- Inspecionar e reproduzir decisões de agentes, chamadas de ferramentas e ações de execuções anteriores.
- Orientar um agente robótico em execução por meio de mensagens enviadas por uma interface de terminal.
Início rápido
- 1
Clone o repositório
git clone https://github.com/hao-ai-lab/ORA.git && cd ORA - 2
Instale o ambiente Python fixado do ORA
uv sync --all-extras --locked - 3
Configure a chave de API do seu modelo
export DEEPSEEK_LOW_API_KEY=sk-... - 4
Execute um episódio de verificação limitado, sem simulador nem GPU
uv run --locked ora run --env synthetic
Antes de usar
- Os benchmarks de robótica exigem uma máquina Linux com uma GPU NVIDIA de 32 GB ou mais; o README verifica apenas GPUs específicas.
- A execução dos benchmarks exige uma chave de API de modelo, e o exemplo padrão usa um endpoint da DeepSeek.
- O lançamento no PyPI ainda está pendente, então a instalação atualmente é feita a partir de um checkout do código-fonte.
Em coleções
Tópicos
Perguntas frequentes
- O que é ORA?
- Um harness de agente aberto que permite a modelos de linguagem com pesos abertos operar robôs zero-shot em tarefas de simulação do LIBERO, RoboTwin e RoboDojo. ORA é um harness de agente para manipulação robótica. Ele conecta um modelo de linguagem com pesos abertos, por meio de uma API compatível com OpenAI ou da Anthropic, a um robô ou simulador e permite que o modelo chame ferramentas de percepção, propostas de preensão e planejamento de movimento. O projeto tem como objetivo a operação zero-shot: não são necessários modelos vision-language-action, treinamento de robôs nem memória específica para cada tarefa.
- ORA é gratuito? Qual é a licença?
- ORA é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ORA ainda é mantido?
- Manutenção ativa. O último commit de ORA foi em 21 de out. de 2026.
- Para que posso usar ORA?
- Avaliar modelos de linguagem com pesos abertos em benchmarks de manipulação robótica sem treinamento. Comparar designs de harnesses de agentes para tarefas incorporadas em simulação. Inspecionar e reproduzir decisões de agentes, chamadas de ferramentas e ações de execuções anteriores. Orientar um agente robótico em execução por meio de mensagens enviadas por uma interface de terminal.
- Como instalar ORA?
- Clone o repositório: git clone https://github.com/hao-ai-lab/ORA.git && cd ORA Instale o ambiente Python fixado do ORA: uv sync --all-extras --locked Configure a chave de API do seu modelo: export DEEPSEEK_LOW_API_KEY=sk-... Execute um episódio de verificação limitado, sem simulador nem GPU: uv run --locked ora run --env synthetic
- Onde consigo ORA?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/hao-ai-lab/ORA
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Benchmark de simulação para testar agentes de IA incorporada em 1.000 atividades domésticas cotidianas, como limpar, cozinhar e organizar.
Uma coleção de ambientes de robótica para aprendizado por reforço, baseados em MuJoCo e construídos sobre a API do Gymnasium.
ASPIRE é um framework em que agentes de programação refinam iterativamente habilidades reutilizáveis de robôs para tarefas de manipulação simuladas e reais, em vez de treinar pesos do modelo.
Uma plataforma de simulação para robótica e IA incorporada que combina um mecanismo de física múltipla, um renderizador fotorrealista e um compilador multiplataforma com uma interface Python.
Framework open source de simulação e treinamento de robôs, paralelizado na GPU e baseado no SAPIEN, com foco em habilidades de manipulação.