algorithmicsuperintelligence/optillm

¿Qué es?

Funciones clave

• 01Endpoint de chat completions compatible con OpenAI, listo para usar como reemplazo directo.
• 02Permite seleccionar técnicas como MoA, MCTS, best-of-N y CePO mediante prefijos en el nombre del modelo o campos de la solicitud.
• 03Permite encadenar enfoques o ejecutarlos en paralelo con los operadores `&` y `|`.
• 04Enruta solicitudes a OpenAI, Azure, Cerebras y más de 100 proveedores a través de LiteLLM.
• 05Ofrece plugins para herramientas MCP, privacidad de PII, lectura de URL y ejecución de código.
• 06Incluye un servidor de inferencia local para modelos de HuggingFace y adaptadores LoRA.

Casos de uso

• Mejorar la precisión de un modelo más económico en matemáticas o programación sin ajustarlo.
• Añadir cómputo durante el razonamiento a una aplicación existente cambiando únicamente la URL base.
• Conectar una aplicación con LLM a servidores MCP para acceder a herramientas y archivos.
• Ejecutar modelos locales de llama.cpp u Ollama con métodos de razonamiento que usan varias muestras.

Inicio rápido

1. 1

   Instala OptiLLM desde PyPI

   pip install optillm
2. 2

   Configura tu clave de API de OpenAI e inicia el servidor

   export OPENAI_API_KEY="your-key-here" && optillm
3. 3

   Indica a cualquier cliente de OpenAI que use http://localhost:8000/v1 y añade moa- al principio del nombre del modelo para usar Mixture of Agents

Antes de usarlo

• !Las mejoras requieren más capacidad de inferencia, por lo que las solicitudes pueden tardar más y costar más.
• !Algunas técnicas requieren modelos locales o proveedores específicos, y las mejoras de rendimiento indicadas en el README corresponden a modelos y tareas concretos.

En colecciones

Temas

Preguntas frecuentes

¿Qué es optillm?

Proxy compatible con la API de OpenAI que aplica técnicas de inferencia como MoA, MCTS y best-of-N para mejorar el razonamiento de los LLM sin entrenarlos. OptiLLM es un proxy de inferencia que se sitúa entre tu aplicación y cualquier endpoint de LLM compatible con OpenAI. Los clientes envían solicitudes normales de chat completions a OptiLLM, que ejecuta cómputo adicional durante la inferencia —por ejemplo, muestrea varios candidatos, busca entre planes o verifica respuestas— antes de devolver una respuesta. No hace falta entrenar ni ajustar modelos.

¿optillm es gratuito? ¿Qué licencia tiene?

optillm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿optillm sigue mantenido?

Mantenimiento activo. El último commit de optillm fue el 2 nov 2026.

¿Para qué puedo usar optillm?

Mejorar la precisión de un modelo más económico en matemáticas o programación sin ajustarlo. Añadir cómputo durante el razonamiento a una aplicación existente cambiando únicamente la URL base. Conectar una aplicación con LLM a servidores MCP para acceder a herramientas y archivos. Ejecutar modelos locales de llama.cpp u Ollama con métodos de razonamiento que usan varias muestras.

¿Cómo se instala optillm?

Instala OptiLLM desde PyPI: pip install optillm Configura tu clave de API de OpenAI e inicia el servidor: export OPENAI_API_KEY="your-key-here" && optillm Indica a cualquier cliente de OpenAI que use http://localhost:8000/v1 y añade moa- al principio del nombre del modelo para usar Mixture of Agents

¿Dónde consigo optillm?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/algorithmicsuperintelligence/optillm