algorithmicsuperintelligence/optillm

O que é?

Recursos principais

• 01Endpoint de chat completions compatível com a OpenAI, pronto para substituir o existente.
• 02Seleciona técnicas como MoA, MCTS, best-of-N e CePO por meio de prefixos no nome do modelo ou campos da solicitação.
• 03Permite encadear ou executar abordagens em paralelo usando os operadores `&` e `|`.
• 04Encaminha solicitações para OpenAI, Azure, Cerebras e mais de 100 provedores por meio do LiteLLM.
• 05Oferece plugins para ferramentas MCP, privacidade de PII, leitura de URLs e execução de código.
• 06Inclui um servidor de inferência local para modelos do HuggingFace e adaptadores LoRA.

Casos de uso

• Melhorar a precisão de modelos mais baratos em matemática ou programação sem fazer fine-tuning.
• Adicionar computação durante o raciocínio a um aplicativo existente alterando apenas a URL base.
• Conectar uma aplicação com LLM a servidores MCP para acessar ferramentas e arquivos.
• Executar modelos locais do llama.cpp ou Ollama com métodos de raciocínio que usam várias amostras.

Início rápido

1. 1

   Instale o OptiLLM pelo PyPI

   pip install optillm
2. 2

   Configure sua chave da API da OpenAI e inicie o servidor

   export OPENAI_API_KEY="your-key-here" && optillm
3. 3

   Aponte qualquer cliente da OpenAI para http://localhost:8000/v1 e prefixe o nome do modelo com moa- para usar o Mixture of Agents

Antes de usar

• !As melhorias dependem de mais capacidade de inferência, então as solicitações podem ficar mais lentas e custar mais.
• !Algumas técnicas exigem modelos locais ou provedores específicos, e os ganhos de benchmark informados no README se referem a modelos e tarefas específicos.

Em coleções

Tópicos

Perguntas frequentes

O que é optillm?

Um proxy compatível com a API da OpenAI que aplica técnicas de inferência, como MoA, MCTS e best-of-N, para melhorar o raciocínio de LLMs sem treinamento. O OptiLLM é um proxy de inferência que fica entre sua aplicação e qualquer endpoint de LLM compatível com a OpenAI. Os clientes enviam solicitações comuns de chat completion ao OptiLLM, que executa computação adicional durante a inferência — como amostrar várias respostas candidatas, explorar planos ou verificar respostas — antes de retornar o resultado. Não é necessário treinar nem fazer fine-tuning do modelo.

optillm é gratuito? Qual é a licença?

optillm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

optillm ainda é mantido?

Manutenção ativa. O último commit de optillm foi em 2 de nov. de 2026.

Para que posso usar optillm?

Melhorar a precisão de modelos mais baratos em matemática ou programação sem fazer fine-tuning. Adicionar computação durante o raciocínio a um aplicativo existente alterando apenas a URL base. Conectar uma aplicação com LLM a servidores MCP para acessar ferramentas e arquivos. Executar modelos locais do llama.cpp ou Ollama com métodos de raciocínio que usam várias amostras.

Como instalar optillm?

Instale o OptiLLM pelo PyPI: pip install optillm Configure sua chave da API da OpenAI e inicie o servidor: export OPENAI_API_KEY="your-key-here" && optillm Aponte qualquer cliente da OpenAI para http://localhost:8000/v1 e prefixe o nome do modelo com moa- para usar o Mixture of Agents

Onde consigo optillm?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/algorithmicsuperintelligence/optillm