Repolode
Enviar
Open-RUA

Open-RUA/uni-robot-agent

Um harness open source que permite a agentes LLM controlar robôs por meio de ferramentas compartilhadas, com runtimes do Codex e Claude Code e integração com simuladores.

Ver no GitHubSite
Estrelas
276
Forks
21
Issues abertas
1
Último commit
há 11 horas

O que é?

uni-robot-agent é um harness em Python para agentes que controlam robôs. Ele oferece ao agente um conjunto compartilhado de ferramentas e feedback para vários ambientes de simulação, com APIs nativas tratadas por adapters. O pacote inclui uma CLI, um SDK Python, um dashboard local para monitoramento ao vivo e replay, além de integrações com os simuladores RoboDojo, RoboUse e RoboLab.

O projeto oferece dois modos de controle. No modo Direct, o próprio agente chama as ferramentas do robô; já o modo Hybrid adiciona um modelo de ações compatível, como o Pi0.5. O runtime do agente, o provedor de modelos, as ferramentas e o ambiente podem ser substituídos por meio de interfaces explícitas. A profundidade vem habilitada por padrão no RoboDojo e pode ser desativada para usar observações somente RGB.

O projeto é voltado a pesquisadores e desenvolvedores que querem avaliar agentes de manipulação robótica com modelos open source. As integrações com robôs reais ARX One e Franka estão listadas como disponíveis em breve.

Recursos principais

  • 01Interface compartilhada de ferramentas para robôs em diferentes ambientes de simulação
  • 02Modos de controle Direct e Hybrid, sendo que o Hybrid adiciona um modelo de ações Pi0.5
  • 03SDK Python para executar sessões e implementar estratégias personalizadas
  • 04Dashboard web local para monitoramento ao vivo e replay de episódios salvos
  • 05Runtimes de agentes, provedores de modelos e ambientes substituíveis

Casos de uso

  • Comparar o desempenho de agentes de manipulação robótica em tarefas do RoboDojo ou RoboUse
  • Testar modelos open source de visão e linguagem para controle de robôs com observações somente RGB
  • Criar uma estratégia de controle personalizada usando ferramentas compartilhadas para robôs
  • Analisar execuções salvas de agentes e chamadas de ferramentas pelo dashboard de replay

Início rápido

  1. 1

    Instale o pacote do PyPI

    pip install uni-robot-agent
  2. 2

    Prepare a integração com o RoboDojo

    uni-robot-agent setup --integration robodojo
  3. 3

    Configure sua chave de API e o endpoint do provedor

    export UNI_ROBOT_AGENT_API_KEY='YOUR_API_KEY'
  4. 4

    Execute uma tarefa usando o painel local

    uni-robot-agent run --integration robodojo --deploy local --task stack_bowls --model YOUR_MODEL_ID --action-profile direct --no-sam3 --output-dir ./runs --monitor

Antes de usar

  • A configuração foi projetada para um ambiente Python 3.11 em um host Linux com GPU.
  • Para executar o simulador, é necessária uma chave de API do modelo e um endpoint de provedor compatível com Responses.
  • As integrações com robôs reais ainda não estão disponíveis.

Em coleções

Frameworks e apps de agentes de IA open sourceProjetos de robótica e IA corporificada

Tópicos

#robotics#ai-agents#llm#robot-manipulation#simulation#python-sdk#vision-language-model

Perguntas frequentes

O que é uni-robot-agent?
Um harness open source que permite a agentes LLM controlar robôs por meio de ferramentas compartilhadas, com runtimes do Codex e Claude Code e integração com simuladores. uni-robot-agent é um harness em Python para agentes que controlam robôs. Ele oferece ao agente um conjunto compartilhado de ferramentas e feedback para vários ambientes de simulação, com APIs nativas tratadas por adapters. O pacote inclui uma CLI, um SDK Python, um dashboard local para monitoramento ao vivo e replay, além de integrações com os simuladores RoboDojo, RoboUse e RoboLab.
uni-robot-agent é gratuito? Qual é a licença?
uni-robot-agent é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
uni-robot-agent ainda é mantido?
Manutenção ativa. O último commit de uni-robot-agent foi em 7 de nov. de 2026.
Para que posso usar uni-robot-agent?
Comparar o desempenho de agentes de manipulação robótica em tarefas do RoboDojo ou RoboUse Testar modelos open source de visão e linguagem para controle de robôs com observações somente RGB Criar uma estratégia de controle personalizada usando ferramentas compartilhadas para robôs Analisar execuções salvas de agentes e chamadas de ferramentas pelo dashboard de replay
Como instalar uni-robot-agent?
Instale o pacote do PyPI: pip install uni-robot-agent Prepare a integração com o RoboDojo: uni-robot-agent setup --integration robodojo Configure sua chave de API e o endpoint do provedor: export UNI_ROBOT_AGENT_API_KEY='YOUR_API_KEY' Execute uma tarefa usando o painel local: uni-robot-agent run --integration robodojo --deploy local --task stack_bowls --model YOUR_MODEL_ID --action-profile direct --no-sam3 --output-dir ./runs --monitor
Onde consigo uni-robot-agent?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Open-RUA/uni-robot-agent

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados

NVlabs / ASPIRE

ASPIRE é um framework em que agentes de programação refinam iterativamente habilidades reutilizáveis de robôs para tarefas de manipulação simuladas e reais, em vez de treinar pesos do modelo.

IA e Machine Learning#robotics#agents#skill-discovery
964+47 esta semana88PythonApache-2.0Atualizado há 23 dias