Repolode
SomeOddCodeGuy

SomeOddCodeGuy/WilmerAI

アプリと複数のLLM APIの間に置くセルフホスト型のLLMセマンティックルーター。標準のOpenAIまたはOllama互換エンドポイントを通じて、複数ステップのプロンプトワークフローを実行します。

スター
830
フォーク
52
未解決の Issue
3
最終コミット
14 日前

これは何?

WilmerAIは、直近のメッセージだけでなく会話履歴全体に基づいて、リクエストを異なるLLMに振り分けます。ルーティングと処理はノードベースのJSONワークフローで定義され、各ノードから異なるLLMエンドポイントの呼び出し、ツールの実行、スクリプトの実行、別のワークフローの呼び出しができます。クライアントアプリケーションからは、この複数ステップの処理全体が単一の標準API呼び出しとして見えます。

OpenAIおよびOllama互換のchat・generateエンドポイントを提供するため、Open WebUIやSillyTavernなどの既存フロントエンドを変更せずに接続できます。バックエンドではClaude、OpenAI互換サーバー、Ollama、KoboldCppに接続できます。また、4パート構成の会話メモリシステムと、実験的なMCPツール呼び出し機能も備えています。

WilmerAIはトークン使用量を追跡しないため、運用者はLLMプロバイダーのダッシュボードでコストを監視してください。出力品質は、接続するモデルとプロンプトに大きく左右されます。

主な機能

  • 01設定可能なワークフローを使い、会話全体のコンテキストに基づいてプロンプトを振り分けます。
  • 02ノードベースのJSON定義により、1つのワークフロー内で複数のLLMやツールを連携させます。
  • 03既存のフロントエンド向けに、OpenAIおよびOllama互換のエンドポイントを提供します。
  • 04Claude、OpenAI互換、Ollama、KoboldCppのバックエンドに接続します。
  • 05キーワード検索と、任意で利用できる埋め込みベースの検索を備えた会話メモリを提供します。
  • 06OpenAI形式のツール呼び出しのパススルーと、JSON Schemaによる構造化出力に対応します。

ユースケース

  • チャットリクエストの種類に応じて、特化したローカルまたはクラウドモデルに振り分ける。
  • 最終的なLLM呼び出しの前に、チャットボットへ検索やWeb検索を追加する。
  • 古いマシンをマルチモデルパイプラインのワーカーLLMとして活用する。
  • フロントエンドを変更せずに、プロンプトのロジックを自分のサーバー上で管理する。

使う前に知っておきたいこと

  • プロジェクトは現在も開発中であり、無保証の現状有姿で提供されます。
  • GPL-3.0ライセンスの下で提供されています。これはコピーレフトライセンスであり、派生物もオープンソースとして公開する必要があります。
  • Web fetcherにはPython 3.13.14/3.14.5以降が必要です。その他の機能はPython 3.11.10/3.12.13で動作します。
  • Agentic MCPツールとの連携は実験的な機能です。

収録されている特集

トピック

よくある質問

WilmerAI とは?
アプリと複数のLLM APIの間に置くセルフホスト型のLLMセマンティックルーター。標準のOpenAIまたはOllama互換エンドポイントを通じて、複数ステップのプロンプトワークフローを実行します。 WilmerAIは、直近のメッセージだけでなく会話履歴全体に基づいて、リクエストを異なるLLMに振り分けます。ルーティングと処理はノードベースのJSONワークフローで定義され、各ノードから異なるLLMエンドポイントの呼び出し、ツールの実行、スクリプトの実行、別のワークフローの呼び出しができます。クライアントアプリケーションからは、この複数ステップの処理全体が単一の標準API呼び出しとして見えます。
WilmerAI は無料で使えますか?ライセンスは?
WilmerAI は GPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
WilmerAI は今もメンテナンスされていますか?
活発にメンテナンス中。WilmerAI の最終コミットは 2026年10月25日 です。
WilmerAI は何に使えますか?
チャットリクエストの種類に応じて、特化したローカルまたはクラウドモデルに振り分ける。 最終的なLLM呼び出しの前に、チャットボットへ検索やWeb検索を追加する。 古いマシンをマルチモデルパイプラインのワーカーLLMとして活用する。 フロントエンドを変更せずに、プロンプトのロジックを自分のサーバー上で管理する。
WilmerAI はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/SomeOddCodeGuy/WilmerAI

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト