algorithmicsuperintelligence/optillm

Что это?

Ключевые возможности

• 01Готовая к подключению конечная точка chat completions, совместимая с OpenAI API.
• 02Позволяет выбирать методы вроде MoA, MCTS, best-of-N и CePO через префиксы имени модели или поля запроса.
• 03Поддерживает объединение методов в цепочку и их параллельный запуск с помощью операторов `&` и `|`.
• 04Маршрутизирует запросы к OpenAI, Azure, Cerebras и более чем 100 провайдерам через LiteLLM.
• 05Предлагает плагины для инструментов MCP, защиты персональных данных, чтения URL и выполнения кода.
• 06Включает локальный сервер инференса для моделей HuggingFace и LoRA-адаптеров.

Сценарии использования

• Повышение точности недорогой модели в математике или программировании без дообучения.
• Добавление вычислений для рассуждений во время инференса в существующее приложение путём изменения только базового URL.
• Подключение приложения с LLM к серверам MCP для работы с инструментами и файлами.
• Запуск локальных моделей llama.cpp или Ollama с методами рассуждений на основе нескольких вариантов.

Быстрый старт

1. 1

   Установите OptiLLM из PyPI

   pip install optillm
2. 2

   Укажите ключ API OpenAI и запустите сервер

   export OPENAI_API_KEY="your-key-here" && optillm
3. 3

   Настройте любой клиент OpenAI на http://localhost:8000/v1 и добавьте moa- в начало имени модели, чтобы использовать Mixture of Agents

Что важно знать

• !Для улучшения результатов требуются дополнительные вычисления при инференсе, поэтому запросы могут обрабатываться медленнее и обходиться дороже.
• !Некоторым методам нужны локальные модели или определённые провайдеры; указанный в README прирост результатов бенчмарков относится к конкретным моделям и задачам.

В подборках

Темы

Частые вопросы

Что такое optillm?

Совместимый с OpenAI API прокси, который улучшает рассуждения LLM с помощью методов инференса вроде MoA, MCTS и best-of-N без обучения моделей. OptiLLM — прокси для инференса между вашим приложением и любой конечной точкой LLM, совместимой с OpenAI API. Клиенты отправляют в OptiLLM обычные запросы на chat completion. Прокси выполняет дополнительные вычисления во время инференса — например, генерирует несколько вариантов, ищет подходящие планы или проверяет ответы — и только потом возвращает результат. Обучать или дообучать модель не требуется.

optillm можно использовать бесплатно? Какая у него лицензия?

optillm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

optillm всё ещё поддерживается?

Активно поддерживается. Последний коммит в optillm — 2 нояб. 2026 г..

Для чего можно использовать optillm?

Повышение точности недорогой модели в математике или программировании без дообучения. Добавление вычислений для рассуждений во время инференса в существующее приложение путём изменения только базового URL. Подключение приложения с LLM к серверам MCP для работы с инструментами и файлами. Запуск локальных моделей llama.cpp или Ollama с методами рассуждений на основе нескольких вариантов.

Как установить optillm?

Установите OptiLLM из PyPI: pip install optillm Укажите ключ API OpenAI и запустите сервер: export OPENAI_API_KEY="your-key-here" && optillm Настройте любой клиент OpenAI на http://localhost:8000/v1 и добавьте moa- в начало имени модели, чтобы использовать Mixture of Agents

Где скачать optillm?

Исходный код и инструкции по установке — на GitHub: https://github.com/algorithmicsuperintelligence/optillm