TypeScript-фреймворк для создания долгоживущих LLM-агентов с состоянием в виде графов, с поддержкой персистентности, памяти и взаимодействия с человеком.
SomeOddCodeGuy/WilmerAI
Самостоятельно размещаемый семантический маршрутизатор LLM между приложением и несколькими LLM API, который выполняет многошаговые цепочки промптов через стандартный endpoint, совместимый с OpenAI или Ollama.
- Звёзды
- 830
- Форки
- 52
- Открытые issues
- 3
- Последний коммит
- 14 дней назад
Что это?
WilmerAI направляет запросы к разным LLM, учитывая всю историю диалога, а не только последнее сообщение. Маршрутизация и обработка задаются в виде JSON-цепочек на основе узлов: каждый узел может обращаться к отдельному LLM endpoint, запускать инструмент или скрипт либо вызывать другую цепочку. Для клиентского приложения весь многошаговый процесс выглядит как один стандартный вызов API.
Проект предоставляет chat- и generate-endpoint’ы, совместимые с OpenAI и Ollama, поэтому к нему можно подключать существующие интерфейсы, например Open WebUI и SillyTavern, без изменений. На бэкенде он работает с Claude, серверами, совместимыми с OpenAI, Ollama и KoboldCpp. В проект также входят система памяти диалога из четырёх частей и экспериментальная поддержка вызова инструментов MCP.
WilmerAI не отслеживает использование токенов, поэтому операторам следует контролировать расходы в панелях управления своих LLM-провайдеров. Качество результатов во многом зависит от подключённых моделей и промптов.
Ключевые возможности
- 01Направляет промпты с учётом полного контекста диалога с помощью настраиваемых цепочек.
- 02Объединяет несколько LLM и инструментов в одной цепочке на основе узловых JSON-описаний.
- 03Предоставляет endpoint’ы, совместимые с OpenAI и Ollama, для подключения существующих интерфейсов.
- 04Подключается к бэкендам Claude, OpenAI-совместимым, Ollama и KoboldCpp.
- 05Предоставляет память диалога с поиском по ключевым словам и, по желанию, с использованием эмбеддингов.
- 06Поддерживает передачу вызовов инструментов в стиле OpenAI и структурированный вывод по JSON Schema.
Сценарии использования
- Направлять запросы разных типов к специализированным локальным или облачным моделям.
- Добавлять поиск по данным или в интернете в чат-бот перед финальным вызовом LLM.
- Использовать старые компьютеры как рабочие узлы с LLM в конвейере из нескольких моделей.
- Хранить логику промптов на собственном сервере, не меняя интерфейсы.
Что важно знать
- Проект всё ещё находится в разработке и предоставляется «как есть», без каких-либо гарантий.
- Проект распространяется по лицензии GPL-3.0 — лицензии с авторским левом, которая требует, чтобы производные работы оставались открытыми.
- Для Web fetcher требуется Python 3.13.14/3.14.5 или новее; остальные функции работают на Python 3.11.10/3.12.13.
- Интеграция с инструментами Agentic MCP находится на экспериментальной стадии.
В подборках
Темы
Частые вопросы
- Что такое WilmerAI?
- Самостоятельно размещаемый семантический маршрутизатор LLM между приложением и несколькими LLM API, который выполняет многошаговые цепочки промптов через стандартный endpoint, совместимый с OpenAI или Ollama. WilmerAI направляет запросы к разным LLM, учитывая всю историю диалога, а не только последнее сообщение. Маршрутизация и обработка задаются в виде JSON-цепочек на основе узлов: каждый узел может обращаться к отдельному LLM endpoint, запускать инструмент или скрипт либо вызывать другую цепочку. Для клиентского приложения весь многошаговый процесс выглядит как один стандартный вызов API.
- WilmerAI можно использовать бесплатно? Какая у него лицензия?
- WilmerAI распространяется с открытым исходным кодом под лицензией GPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- WilmerAI всё ещё поддерживается?
- Активно поддерживается. Последний коммит в WilmerAI — 25 окт. 2026 г..
- Для чего можно использовать WilmerAI?
- Направлять запросы разных типов к специализированным локальным или облачным моделям. Добавлять поиск по данным или в интернете в чат-бот перед финальным вызовом LLM. Использовать старые компьютеры как рабочие узлы с LLM в конвейере из нескольких моделей. Хранить логику промптов на собственном сервере, не меняя интерфейсы.
- Где скачать WilmerAI?
- Исходный код и инструкции по установке — на GitHub: https://github.com/SomeOddCodeGuy/WilmerAI
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Опишите интерфейс обычными словами, сразу увидьте результат и дорабатывайте его с помощью любой поддерживаемой LLM.
Открытый coding agent для терминала: работает с локальными моделями через Ollama или с любым OpenAI-совместимым API.
Локальный прокси для запуска Claude Code, Codex и других агентных инструментов для программирования с бесплатными или альтернативными моделями — из терминала, IDE, браузера или чатов.
Локально разворачиваемый LLM-маршрутизатор с доступным исходным кодом: простые запросы отправляет дешёвым или локальным моделям, сложные — премиальным через OpenAI-совместимый прокси.
Discord-бот, превращающий сервер или личные сообщения в общий интерфейс для любых совместимых с OpenAI LLM — локальных и удалённых.