Repolode
Enviar
SomeOddCodeGuy

SomeOddCodeGuy/WilmerAI

Um roteador semântico de LLMs self-hosted que fica entre seu app e várias APIs de LLM, executando fluxos de prompts em várias etapas por um endpoint compatível com OpenAI ou Ollama.

Ver no GitHub
Estrelas
830
Forks
52
Issues abertas
3
Último commit
há 13 dias

O que é?

O WilmerAI encaminha solicitações para diferentes LLMs com base no histórico completo da conversa, e não apenas na mensagem mais recente. O roteamento e o processamento são definidos como fluxos de trabalho em JSON baseados em nós, nos quais cada nó pode chamar um endpoint de LLM diferente, executar uma ferramenta ou um script, ou invocar outro fluxo de trabalho. Para o aplicativo cliente, todo esse processo em várias etapas aparece como uma única chamada de API padrão.

O projeto disponibiliza endpoints de chat e geração compatíveis com OpenAI e Ollama, permitindo que front ends existentes, como Open WebUI e SillyTavern, se conectem sem modificações. No backend, conecta-se ao Claude, a servidores compatíveis com OpenAI, ao Ollama e ao KoboldCpp. Também inclui um sistema de memória de conversa dividido em quatro partes e suporte experimental à chamada de ferramentas via MCP.

O WilmerAI não monitora o uso de tokens, então os operadores devem acompanhar os custos nos painéis dos provedores de LLM. A qualidade das respostas depende bastante dos modelos conectados e dos prompts.

Recursos principais

  • 01Encaminha prompts com base no contexto completo da conversa, usando fluxos de trabalho configuráveis.
  • 02Encadeia vários LLMs e ferramentas em um único fluxo de trabalho por meio de definições JSON baseadas em nós.
  • 03Disponibiliza endpoints compatíveis com OpenAI e Ollama para front ends existentes.
  • 04Conecta-se aos backends Claude, compatíveis com OpenAI, Ollama e KoboldCpp.
  • 05Oferece memória de conversa com busca por palavras-chave e, opcionalmente, por embeddings.
  • 06Oferece passthrough de chamadas de ferramentas no estilo OpenAI e saída estruturada com JSON Schema.

Casos de uso

  • Encaminhar diferentes tipos de solicitações de chat para modelos locais ou na nuvem especializados.
  • Adicionar recuperação de informações ou buscas na web a um chatbot antes da chamada final ao LLM.
  • Usar máquinas mais antigas como workers de LLM em um pipeline com vários modelos.
  • Manter a lógica dos prompts no próprio servidor sem alterar os front ends.

Antes de usar

  • O projeto ainda está em desenvolvimento e é fornecido no estado em que se encontra, sem garantia.
  • É licenciado sob a GPL-3.0, uma licença copyleft que exige que trabalhos derivados continuem sendo de código aberto.
  • O Web fetcher requer Python 3.13.14/3.14.5 ou posterior; os demais recursos funcionam com Python 3.11.10/3.12.13.
  • A integração com ferramentas Agentic MCP é experimental.

Em coleções

Apps auto-hospedadosRode LLMs localmente

Tópicos

#llm#semantic-routing#workflow#prompt-engineering#openai-compatible#ollama#self-hosted#python#ai#generative-ai

Perguntas frequentes

O que é WilmerAI?
Um roteador semântico de LLMs self-hosted que fica entre seu app e várias APIs de LLM, executando fluxos de prompts em várias etapas por um endpoint compatível com OpenAI ou Ollama. O WilmerAI encaminha solicitações para diferentes LLMs com base no histórico completo da conversa, e não apenas na mensagem mais recente. O roteamento e o processamento são definidos como fluxos de trabalho em JSON baseados em nós, nos quais cada nó pode chamar um endpoint de LLM diferente, executar uma ferramenta ou um script, ou invocar outro fluxo de trabalho. Para o aplicativo cliente, todo esse processo em várias etapas aparece como uma única chamada de API padrão.
WilmerAI é gratuito? Qual é a licença?
WilmerAI é open source sob a licença GPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
WilmerAI ainda é mantido?
Manutenção ativa. O último commit de WilmerAI foi em 25 de out. de 2026.
Para que posso usar WilmerAI?
Encaminhar diferentes tipos de solicitações de chat para modelos locais ou na nuvem especializados. Adicionar recuperação de informações ou buscas na web a um chatbot antes da chamada final ao LLM. Usar máquinas mais antigas como workers de LLM em um pipeline com vários modelos. Manter a lógica dos prompts no próprio servidor sem alterar os front ends.
Onde consigo WilmerAI?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/SomeOddCodeGuy/WilmerAI

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados