Framework de Python para crear aplicaciones y agentes basados en LLM, con interfaces estándar para modelos, embeddings, almacenes vectoriales e integraciones de terceros.
148,1 mil24,9 milPythonMITActualizado hace 7 horas
BerriAI/litellm
Gateway de IA de código abierto y SDK de Python para acceder a más de 100 proveedores de LLM mediante una única interfaz compatible con OpenAI.
- Estrellas
- 61,636
- Forks
- 12,501
- Issues abiertos
- 5,530
- Último commit
- hace 7 horas
¿Qué es?
LiteLLM permite a los desarrolladores acceder a numerosos proveedores de LLM, incluidos OpenAI, Anthropic, Gemini, Bedrock, Azure y Vertex AI, mediante una única interfaz compatible con OpenAI. Se puede usar como biblioteca de Python en el código de una aplicación o implementar como un servidor proxy autogestionado que funciona como gateway central para un equipo o una organización.
El proxy incorpora funciones operativas como claves virtuales, seguimiento del gasto por proyecto o usuario, guardrails, balanceo de carga y enrutamiento de respaldo, callbacks de registro y un panel de administración. También ofrece endpoints para chat completions, embeddings, imágenes, audio, batches y rerank, y puede enrutar llamadas a agentes A2A y servidores MCP.
El proyecto ofrece un núcleo en Rust con un SDK de Python, además de módulos de Terraform para implementar el proxy en AWS y GCP.
Funciones clave
- 01Accede a más de 100 proveedores de LLM mediante el formato de solicitud de OpenAI.
- 02Proxy autogestionado con claves virtuales y seguimiento del gasto por proyecto.
- 03Balanceo de carga, reintentos y enrutamiento de respaldo entre varias implementaciones.
- 04Guardrails y callbacks de registro para la observabilidad.
- 05Conecta agentes A2A y servidores MCP a través del gateway.
Casos de uso
- Proporcionar a un equipo un único endpoint interno para varios proveedores de LLM, con claves y presupuestos por usuario.
- Cambiar entre modelos de OpenAI y Anthropic en el código de una aplicación sin reescribir las llamadas a la API.
- Implementar un gateway de LLM en AWS o GCP con los módulos de Terraform incluidos.
Inicio rápido
- 1
Instala el servidor proxy de LiteLLM con uv
uv tool install 'litellm[proxy]' - 2
Inicia el proxy con un modelo y, después, haz llamadas a http://0.0.0.0:4000
litellm --model gpt-4o
Antes de usarlo
- La licencia no está claramente identificada (los metadatos muestran NOASSERTION), así que consulta sus términos antes de usar el proyecto.
- Para llamar a cada proveedor necesitas tus propias claves de API.
- Algunas funciones anunciadas, como el plan Enterprise, son independientes del proyecto de código abierto.
Temas
Preguntas frecuentes
- ¿Qué es litellm?
- Gateway de IA de código abierto y SDK de Python para acceder a más de 100 proveedores de LLM mediante una única interfaz compatible con OpenAI. LiteLLM permite a los desarrolladores acceder a numerosos proveedores de LLM, incluidos OpenAI, Anthropic, Gemini, Bedrock, Azure y Vertex AI, mediante una única interfaz compatible con OpenAI. Se puede usar como biblioteca de Python en el código de una aplicación o implementar como un servidor proxy autogestionado que funciona como gateway central para un equipo o una organización.
- ¿litellm es gratuito? ¿Qué licencia tiene?
- litellm es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿litellm sigue mantenido?
- Mantenimiento activo. El último commit de litellm fue el 20 oct 2026.
- ¿Para qué puedo usar litellm?
- Proporcionar a un equipo un único endpoint interno para varios proveedores de LLM, con claves y presupuestos por usuario. Cambiar entre modelos de OpenAI y Anthropic en el código de una aplicación sin reescribir las llamadas a la API. Implementar un gateway de LLM en AWS o GCP con los módulos de Terraform incluidos.
- ¿Cómo se instala litellm?
- Instala el servidor proxy de LiteLLM con uv: uv tool install 'litellm[proxy]' Inicia el proxy con un modelo y, después, haz llamadas a http://0.0.0.0:4000: litellm --model gpt-4o
- ¿Dónde consigo litellm?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/BerriAI/litellm
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Gateway de IA autoalojado que ofrece APIs compatibles con OpenAI, Claude y Gemini para muchos proveedores de modelos, con enrutamiento, claves, cuotas y seguimiento de costos.
50,3 mil12,1 milGoAGPL-3.0Actualizado ayer
Herramienta de línea de comandos y biblioteca de Python para ejecutar prompts y chats con modelos de lenguaje grandes, remotos o instalados localmente.
12,6 mil1,1 milPythonApache-2.0Actualizado anteayer
Gateway de IA de código abierto que ofrece una API compatible con OpenAI para más de 23 proveedores de LLM, con conmutación por error, balanceo de carga, caché semántica y claves virtuales.
8,9 mil1,4 milGoApache-2.0Actualizado ayer
Gateway de IA autohospedado que reúne API keys y cuentas de suscripción de varios proveedores en un único endpoint, con programación, failover y registros de uso.
7,2 mil812GoMITActualizado hace 10 horas
Gateway de LLM autohospedado y compatible con OpenAI que dirige las solicitudes desde un único endpoint a más de 40 proveedores, con claves virtuales, presupuestos y seguimiento del uso.
68789PythonApache-2.0Actualizado ayer