Repolode
Enviar
om-ai-lab

om-ai-lab/OmAgent

Biblioteca Python para criar agentes de linguagem multimodais capazes de raciocinar sobre entradas de texto, imagens, vídeo e áudio.

Ver no GitHubSite
Estrelas
2,671
Forks
289
Issues abertas
23
Último commit
há 22 dias

O que é?

OmAgent é uma biblioteca Python para criar agentes de linguagem multimodais. Ela abstrai a orquestração de workers, as filas de tarefas e a execução de nós em uma interface simples, para que desenvolvedores possam definir um agente e combinar componentes reutilizáveis para criar agentes mais complexos.

A biblioteca oferece um mecanismo de workflows baseado em grafos e vários tipos de memória para raciocínio contextual. Inclui suporte nativo a modelos de visão e linguagem, processamento de vídeo e conexão com dispositivos móveis, além de implementar algoritmos de agentes como ReAct, CoT e SC-CoT. Os modelos podem ser executados localmente pelo Ollama ou pelo LocalAI, e a arquitetura pode ser implantada de forma distribuída ou no modo Lite, sem middleware.

O projeto inclui aplicações de exemplo, como um agente de perguntas e respostas sobre vídeos com interface Gradio e um assistente pessoal para dispositivos móveis, além de uma comparação entre operadores de agentes em conjuntos de dados de raciocínio.

Recursos principais

  • 01Mecanismo de orquestração de workflows baseado em grafos, com vários tipos de memória
  • 02Suporte nativo a modelos de visão e linguagem, processamento de vídeo e conexão com dispositivos móveis
  • 03Algoritmos de agentes integrados, incluindo ReAct, CoT e SC-CoT
  • 04Implantação local de modelos pelo Ollama ou pelo LocalAI
  • 05Implantação distribuída com escalabilidade e modo Lite sem middleware

Casos de uso

  • Criar agentes de perguntas e respostas sobre vídeos que raciocinam a partir de gravações enviadas
  • Prototipar pipelines de compreensão de imagens ou vídeos com VLMs
  • Criar um assistente pessoal para dispositivos móveis que processe entradas multimodais
  • Comparar estratégias de raciocínio, como CoT e ReAct, usando o mesmo LLM

Em coleções

Chatbots de IA e clientes de chat

Tópicos

#agent#multimodal#llm#vision-language-model#workflow-orchestration#rag#python#chatbot#gemini#gpt

Perguntas frequentes

O que é OmAgent?
Biblioteca Python para criar agentes de linguagem multimodais capazes de raciocinar sobre entradas de texto, imagens, vídeo e áudio. OmAgent é uma biblioteca Python para criar agentes de linguagem multimodais. Ela abstrai a orquestração de workers, as filas de tarefas e a execução de nós em uma interface simples, para que desenvolvedores possam definir um agente e combinar componentes reutilizáveis para criar agentes mais complexos.
OmAgent é gratuito? Qual é a licença?
OmAgent é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
OmAgent ainda é mantido?
Manutenção ativa. O último commit de OmAgent foi em 16 de out. de 2026.
Para que posso usar OmAgent?
Criar agentes de perguntas e respostas sobre vídeos que raciocinam a partir de gravações enviadas Prototipar pipelines de compreensão de imagens ou vídeos com VLMs Criar um assistente pessoal para dispositivos móveis que processe entradas multimodais Comparar estratégias de raciocínio, como CoT e ReAct, usando o mesmo LLM
Onde consigo OmAgent?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/om-ai-lab/OmAgent

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados