Biblioteca Go para busca exata de vetores por similaridade de cosseno, com embeddings locais opcionais via llama.cpp e GGUF ou embeddings na nuvem por APIs compatíveis com OpenAI.
56124GoMITAtualizado há 2 meses
intentee/paddler
Balanceador de carga e plataforma de serving de LLMs open source que executa inferência na sua própria infraestrutura com CPU ou GPU usando llama.cpp.
- Estrelas
- 1,690
- Forks
- 97
- Issues abertas
- 30
- Último commit
- há 21 horas
O que é?
Paddler é um balanceador de carga e uma plataforma de serving de LLMs que você hospeda por conta própria. Ele executa inferência, embeddings e modelos multimodais na sua própria infraestrutura por meio de um mecanismo llama.cpp integrado, permitindo que os aplicativos dependam menos de APIs de modelos de código fechado e de preços por token.
O Paddler é distribuído como um único binário com dois componentes implantáveis: um balanceador que distribui as requisições recebidas e agentes que executam slots de inferência. É possível adicionar agentes dinamicamente, permitindo a integração com ferramentas de autoscaling, e as requisições recebidas podem ser armazenadas em buffer para que uma implantação possa escalar a partir de zero hosts. Os modelos podem ser trocados dinamicamente.
Um painel de administração web integrado permite monitorar a frota, editar modelos e templates de chat e testar prompts em uma GUI. Um aplicativo desktop em beta é voltado a usos informais, como agrupar laptops e PCs em um cluster local de IA.
Recursos principais
- 01Mecanismo de inferência llama.cpp integrado para tokens e embeddings
- 02Balanceamento de carga com reconhecimento de LLMs entre agentes e slots
- 03Registro dinâmico de agentes para integração com autoscaling
- 04Buffer de requisições que permite escalar a partir de zero hosts
- 05Troca dinâmica de modelos
- 06Painel de administração web para monitoramento, configuração e testes
- 07Métricas de observabilidade
Casos de uso
- Executar inferência de LLMs e embeddings dentro de um produto, mantendo os dados nos seus próprios servidores
- Disponibilizar modelos para equipes com requisitos rigorosos de privacidade ou conformidade
- Agrupar GPUs ou PCs ociosos de um escritório em um cluster local de IA
- Substituir os custos imprevisíveis de APIs cobradas por token por capacidade autogerenciada
Início rápido
- 1
Obtenha o binário do paddler na página de releases do GitHub
- 2
Inicie o balancer
paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 - 3
Inicie um agente com 4 slots
paddler agent --management-addr 127.0.0.1:8060 --slots 4
Antes de usar
- Para compilar a partir do código-fonte, é necessário Rust MSRV 1.88.0 ou mais recente.
- O aplicativo para desktop ainda está na versão beta.
- Para executar modelos, você precisa de uma infraestrutura de computação própria, como hosts com CPU ou GPU.
Em coleções
Tópicos
Perguntas frequentes
- O que é paddler?
- Balanceador de carga e plataforma de serving de LLMs open source que executa inferência na sua própria infraestrutura com CPU ou GPU usando llama.cpp. Paddler é um balanceador de carga e uma plataforma de serving de LLMs que você hospeda por conta própria. Ele executa inferência, embeddings e modelos multimodais na sua própria infraestrutura por meio de um mecanismo llama.cpp integrado, permitindo que os aplicativos dependam menos de APIs de modelos de código fechado e de preços por token.
- paddler é gratuito? Qual é a licença?
- paddler é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- paddler ainda é mantido?
- Manutenção ativa. O último commit de paddler foi em 7 de nov. de 2026.
- Para que posso usar paddler?
- Executar inferência de LLMs e embeddings dentro de um produto, mantendo os dados nos seus próprios servidores Disponibilizar modelos para equipes com requisitos rigorosos de privacidade ou conformidade Agrupar GPUs ou PCs ociosos de um escritório em um cluster local de IA Substituir os custos imprevisíveis de APIs cobradas por token por capacidade autogerenciada
- Como instalar paddler?
- Obtenha o binário do paddler na página de releases do GitHub Inicie o balancer: paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 Inicie um agente com 4 slots: paddler agent --management-addr 127.0.0.1:8060 --slots 4
- Onde consigo paddler?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/intentee/paddler
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Servidor baseado em Rust para implantar e servir modelos open source de embeddings de texto e reranking por HTTP e gRPC.
5,1 mil+15 esta semana453RustApache-2.0Bem mantidoAtualizado ontem
Um proxy leve em Go que alterna entre servidores locais de modelos de IA, como llama.cpp e vLLM, usando um único endpoint compatível com OpenAI e Anthropic.
6,2 mil+59 esta semana542GoMITBem mantidoAtualizado há 16 horas
Ferramenta para desenvolvedores que executa modelos de IA localmente em containers OCI, baixa automaticamente imagens específicas para a GPU e disponibiliza os modelos por REST API ou chatbot.
3,1 mil+14 esta semana389PythonMITAtualizado há 23 horas
Mecanismo de inferência local que executa o grande modelo Qwen3.8-Flash-Next em GPUs NVIDIA ou AMD de uso doméstico no Windows ou Linux, com APIs compatíveis com OpenAI e Anthropic.
41,4 mil+4,5 mil esta semana4,5 milC++MITBem mantidoAtualizado há 15 horas
Modular Platform: um espaço open source para o framework de IA MAX e a linguagem de programação Mojo, voltado ao desenvolvimento e à implantação de modelos de IA.
30,1 mil+31 esta semana3,2 milMojoOtherAtualizado há 16 horas