Repolode
提交项目
SomeOddCodeGuy

SomeOddCodeGuy/WilmerAI

一个自托管的 LLM 语义路由器，位于应用与多个 LLM API 之间，通过多步工作流处理提示词并对外提供兼容接口。

在 GitHub 查看
Star
830
Fork
52
未关闭 Issue
3
最近提交
13天前

这是什么？

WilmerAI 会根据完整的对话历史而不只是最新一条消息来决定请求交给哪个 LLM 处理。路由与处理逻辑以基于节点的 JSON 工作流定义，每个节点可以调用不同的 LLM 端点、执行工具、运行脚本或调用其他工作流。客户端看到的仍是一次普通的 API 调用。

项目对外提供兼容 OpenAI 和 Ollama 的聊天与生成接口，Open WebUI、SillyTavern 等现有前端无需修改即可接入。后端支持连接 Claude、OpenAI 兼容服务、Ollama 和 KoboldCpp。另外还包含由四部分组成的对话记忆系统，以及实验性的 MCP 工具调用。

项目不统计 token 用量，成本需要通过各家 LLM 服务商的控制台自行监控。输出质量很大程度取决于所接入的模型和提示词。

核心功能

  • 01基于可配置工作流，结合完整对话上下文进行提示词路由。
  • 02通过基于节点的 JSON 定义，在一个工作流中串联多个 LLM 与工具。
  • 03对外提供兼容 OpenAI 和 Ollama 的接口，现有前端无需改动。
  • 04可连接 Claude、OpenAI 兼容服务、Ollama 和 KoboldCpp 后端。
  • 05提供对话记忆，支持关键词检索，并可选基于向量的语义检索。
  • 06支持 OpenAI 风格的工具调用透传以及 JSON Schema 结构化输出。

适用场景

  • 将不同类型的聊天请求分发给专门的本地或云端模型。
  • 在最终 LLM 调用前为聊天机器人加入检索或网页查询。
  • 将闲置机器作为多模型流水线中的工作节点。
  • 让提示词逻辑保留在自有服务器上，同时前端保持不变。

使用前须知

  • 该项目仍在开发中，按原样提供，不附带任何保证。
  • 项目采用 GPL-3.0 许可证，这是一种 copyleft 许可证，要求衍生作品同样保持开源。
  • 网页抓取功能需要 Python 3.13.14/3.14.5 或更高版本；其他功能可在 Python 3.11.10/3.12.13 上运行。
  • 基于智能体的 MCP 工具集成目前处于实验阶段。

收录于专题

自托管应用本地运行大模型

标签

#llm#semantic-routing#workflow#prompt-engineering#openai-compatible#ollama#self-hosted#python#ai#generative-ai

常见问题

WilmerAI 是什么？
一个自托管的 LLM 语义路由器，位于应用与多个 LLM API 之间，通过多步工作流处理提示词并对外提供兼容接口。 WilmerAI 会根据完整的对话历史而不只是最新一条消息来决定请求交给哪个 LLM 处理。路由与处理逻辑以基于节点的 JSON 工作流定义，每个节点可以调用不同的 LLM 端点、执行工具、运行脚本或调用其他工作流。客户端看到的仍是一次普通的 API 调用。
WilmerAI 可以免费使用吗？用的什么许可证？
WilmerAI 以 GPL-3.0 许可证开源。用于商业产品前，请先确认许可证条款。
WilmerAI 还在维护吗？
活跃维护中。WilmerAI 最近一次提交是在 2026年10月25日。
WilmerAI 适合用来做什么？
将不同类型的聊天请求分发给专门的本地或云端模型。 在最终 LLM 调用前为聊天机器人加入检索或网页查询。 将闲置机器作为多模型流水线中的工作节点。 让提示词逻辑保留在自有服务器上，同时前端保持不变。
在哪里获取 WilmerAI？
源代码和安装说明在 GitHub 上：https://github.com/SomeOddCodeGuy/WilmerAI

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目