Repolode
SomeOddCodeGuy

SomeOddCodeGuy/WilmerAI

Самостоятельно размещаемый семантический маршрутизатор LLM между приложением и несколькими LLM API, который выполняет многошаговые цепочки промптов через стандартный endpoint, совместимый с OpenAI или Ollama.

Звёзды
830
Форки
52
Открытые issues
3
Последний коммит
14 дней назад

Что это?

WilmerAI направляет запросы к разным LLM, учитывая всю историю диалога, а не только последнее сообщение. Маршрутизация и обработка задаются в виде JSON-цепочек на основе узлов: каждый узел может обращаться к отдельному LLM endpoint, запускать инструмент или скрипт либо вызывать другую цепочку. Для клиентского приложения весь многошаговый процесс выглядит как один стандартный вызов API.

Проект предоставляет chat- и generate-endpoint’ы, совместимые с OpenAI и Ollama, поэтому к нему можно подключать существующие интерфейсы, например Open WebUI и SillyTavern, без изменений. На бэкенде он работает с Claude, серверами, совместимыми с OpenAI, Ollama и KoboldCpp. В проект также входят система памяти диалога из четырёх частей и экспериментальная поддержка вызова инструментов MCP.

WilmerAI не отслеживает использование токенов, поэтому операторам следует контролировать расходы в панелях управления своих LLM-провайдеров. Качество результатов во многом зависит от подключённых моделей и промптов.

Ключевые возможности

  • 01Направляет промпты с учётом полного контекста диалога с помощью настраиваемых цепочек.
  • 02Объединяет несколько LLM и инструментов в одной цепочке на основе узловых JSON-описаний.
  • 03Предоставляет endpoint’ы, совместимые с OpenAI и Ollama, для подключения существующих интерфейсов.
  • 04Подключается к бэкендам Claude, OpenAI-совместимым, Ollama и KoboldCpp.
  • 05Предоставляет память диалога с поиском по ключевым словам и, по желанию, с использованием эмбеддингов.
  • 06Поддерживает передачу вызовов инструментов в стиле OpenAI и структурированный вывод по JSON Schema.

Сценарии использования

  • Направлять запросы разных типов к специализированным локальным или облачным моделям.
  • Добавлять поиск по данным или в интернете в чат-бот перед финальным вызовом LLM.
  • Использовать старые компьютеры как рабочие узлы с LLM в конвейере из нескольких моделей.
  • Хранить логику промптов на собственном сервере, не меняя интерфейсы.

Что важно знать

  • Проект всё ещё находится в разработке и предоставляется «как есть», без каких-либо гарантий.
  • Проект распространяется по лицензии GPL-3.0 — лицензии с авторским левом, которая требует, чтобы производные работы оставались открытыми.
  • Для Web fetcher требуется Python 3.13.14/3.14.5 или новее; остальные функции работают на Python 3.11.10/3.12.13.
  • Интеграция с инструментами Agentic MCP находится на экспериментальной стадии.

В подборках

Темы

Частые вопросы

Что такое WilmerAI?
Самостоятельно размещаемый семантический маршрутизатор LLM между приложением и несколькими LLM API, который выполняет многошаговые цепочки промптов через стандартный endpoint, совместимый с OpenAI или Ollama. WilmerAI направляет запросы к разным LLM, учитывая всю историю диалога, а не только последнее сообщение. Маршрутизация и обработка задаются в виде JSON-цепочек на основе узлов: каждый узел может обращаться к отдельному LLM endpoint, запускать инструмент или скрипт либо вызывать другую цепочку. Для клиентского приложения весь многошаговый процесс выглядит как один стандартный вызов API.
WilmerAI можно использовать бесплатно? Какая у него лицензия?
WilmerAI распространяется с открытым исходным кодом под лицензией GPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
WilmerAI всё ещё поддерживается?
Активно поддерживается. Последний коммит в WilmerAI — 25 окт. 2026 г..
Для чего можно использовать WilmerAI?
Направлять запросы разных типов к специализированным локальным или облачным моделям. Добавлять поиск по данным или в интернете в чат-бот перед финальным вызовом LLM. Использовать старые компьютеры как рабочие узлы с LLM в конвейере из нескольких моделей. Хранить логику промптов на собственном сервере, не меняя интерфейсы.
Где скачать WilmerAI?
Исходный код и инструкции по установке — на GitHub: https://github.com/SomeOddCodeGuy/WilmerAI

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Локальный прокси для запуска Claude Code, Codex и других агентных инструментов для программирования с бесплатными или альтернативными моделями — из терминала, IDE, браузера или чатов.

66,9 тыс.+1,7 тыс. за неделю10,4 тыс.PythonOtherАктивно поддерживаетсяОбновлён вчера

Локально разворачиваемый LLM-маршрутизатор с доступным исходным кодом: простые запросы отправляет дешёвым или локальным моделям, сложные — премиальным через OpenAI-совместимый прокси.

662+1 за неделю79PythonOtherАктивно поддерживаетсяОбновлён позавчера