Biblioteca de Go para buscar vectores por similitud coseno exacta, con embeddings GGUF locales opcionales vía llama.cpp y embeddings en la nube mediante API compatibles con OpenAI.
56124GoMITActualizado hace 2 meses
intentee/paddler
Balanceador de carga y plataforma de servicio de LLM de código abierto que ejecuta inferencias en tu propia infraestructura de CPU o GPU con llama.cpp.
- Estrellas
- 1,689
- Forks
- 97
- Issues abiertos
- 30
- Último commit
- hace 8 días
¿Qué es?
Paddler es un balanceador de carga y una plataforma de servicio de LLM autoalojados. Ejecuta inferencias, genera embeddings y sirve modelos multimodales en tu propia infraestructura mediante un motor integrado de llama.cpp, para que las aplicaciones dependan menos de las API de modelos de código cerrado y de los precios por token.
Se distribuye como un único binario con dos componentes desplegables: un balanceador que distribuye las solicitudes entrantes y agentes que ejecutan instancias de inferencia. Los agentes se pueden añadir de forma dinámica, lo que permite integrarse con herramientas de escalado automático; además, las solicitudes entrantes se pueden almacenar en búfer para que un despliegue pueda escalar desde cero hosts. Los modelos se pueden cambiar dinámicamente.
El panel web de administración integrado permite supervisar el conjunto de agentes, editar modelos y plantillas de chat, y probar prompts desde una GUI. Una aplicación de escritorio en fase beta está pensada para usos informales, como agrupar laptops y PC en un clúster de IA local.
Funciones clave
- 01Motor de inferencia llama.cpp integrado para tokens y embeddings
- 02Balanceo de carga con conocimiento de LLM entre agentes e instancias
- 03Registro dinámico de agentes para integrarse con el escalado automático
- 04Almacenamiento en búfer de solicitudes que permite escalar desde cero hosts
- 05Cambio dinámico de modelos
- 06Panel web de administración para supervisión, configuración y pruebas
- 07Métricas de observabilidad
Casos de uso
- Ejecutar inferencias de LLM y generar embeddings dentro de un producto, manteniendo los datos en tus propios servidores
- Servir modelos a equipos con requisitos estrictos de privacidad o cumplimiento normativo
- Agrupar GPU o PC disponibles de una oficina en un clúster de IA local
- Sustituir los costos impredecibles de las API por token por capacidad autogestionada
Inicio rápido
- 1
Descarga el binario de paddler desde la página de versiones de GitHub
- 2
Inicia el balancer
paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 - 3
Inicia un agente con 4 slots
paddler agent --management-addr 127.0.0.1:8060 --slots 4
Antes de usarlo
- Para compilar desde el código fuente se necesita Rust MSRV 1.88.0 o posterior.
- La aplicación de escritorio todavía está en fase beta.
- Para ejecutar modelos necesitas tu propia infraestructura de cómputo, como hosts con CPU o GPU.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es paddler?
- Balanceador de carga y plataforma de servicio de LLM de código abierto que ejecuta inferencias en tu propia infraestructura de CPU o GPU con llama.cpp. Paddler es un balanceador de carga y una plataforma de servicio de LLM autoalojados. Ejecuta inferencias, genera embeddings y sirve modelos multimodales en tu propia infraestructura mediante un motor integrado de llama.cpp, para que las aplicaciones dependan menos de las API de modelos de código cerrado y de los precios por token.
- ¿paddler es gratuito? ¿Qué licencia tiene?
- paddler es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿paddler sigue mantenido?
- Mantenimiento activo. El último commit de paddler fue el 30 oct 2026.
- ¿Para qué puedo usar paddler?
- Ejecutar inferencias de LLM y generar embeddings dentro de un producto, manteniendo los datos en tus propios servidores Servir modelos a equipos con requisitos estrictos de privacidad o cumplimiento normativo Agrupar GPU o PC disponibles de una oficina en un clúster de IA local Sustituir los costos impredecibles de las API por token por capacidad autogestionada
- ¿Cómo se instala paddler?
- Descarga el binario de paddler desde la página de versiones de GitHub Inicia el balancer: paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 Inicia un agente con 4 slots: paddler agent --management-addr 127.0.0.1:8060 --slots 4
- ¿Dónde consigo paddler?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/intentee/paddler
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Servidor basado en Rust para desplegar y servir modelos open source de embeddings de texto y reranking mediante HTTP y gRPC.
5,1 mil+9 esta semana450RustApache-2.0Actualizado hace 22 horas
Un proxy ligero en Go que intercambia en caliente servidores locales de modelos de IA, como llama.cpp y vLLM, tras un único endpoint compatible con OpenAI y Anthropic.
6,2 mil+70 esta semana540GoMITBien mantenidoActualizado ayer
Herramienta para desarrolladores que ejecuta modelos de IA localmente en contenedores OCI, descarga automáticamente imágenes para la GPU y ofrece los modelos mediante una API REST o un chatbot.
3,1 mil+13 esta semana386PythonMITActualizado anteayer
Motor de inferencia local que ejecuta el gran modelo Qwen3.8-Flash-Next en GPU NVIDIA o AMD de consumo con Windows o Linux, mediante APIs compatibles con OpenAI y Anthropic.
40,5 mil+4,6 mil esta semana4,4 milC++MITBien mantenidoActualizado ayer
Modular Platform: plataforma de código abierto para el framework de IA MAX y el lenguaje de programación Mojo, orientada al desarrollo y despliegue de modelos de IA.
30,1 mil+38 esta semana3,2 milMojoOtherActualizado ayer