Repolode
제출하기
SomeOddCodeGuy

SomeOddCodeGuy/WilmerAI

앱과 여러 LLM API 사이에서 동작하는 자체 호스팅 LLM 시맨틱 라우터로, 표준 OpenAI 또는 Ollama 호환 엔드포인트를 통해 여러 단계의 프롬프트 워크플로를 실행합니다.

GitHub에서 보기
스타
830
포크
52
열린 이슈
3
마지막 커밋
13일 전

어떤 프로젝트인가요?

WilmerAI는 가장 최근 메시지만이 아니라 전체 대화 기록을 바탕으로 요청을 여러 LLM에 라우팅합니다. 라우팅과 처리는 노드 기반 JSON 워크플로로 정의하며, 각 노드에서는 서로 다른 LLM 엔드포인트 호출, 도구 실행, 스크립트 실행 또는 다른 워크플로 호출이 가능합니다. 클라이언트 애플리케이션에서는 이 여러 단계의 과정을 하나의 표준 API 호출로 처리합니다.

이 프로젝트는 OpenAI 및 Ollama 호환 채팅·생성 엔드포인트를 제공하므로 Open WebUI, SillyTavern 같은 기존 프런트엔드를 수정 없이 연결할 수 있습니다. 백엔드로는 Claude, OpenAI 호환 서버, Ollama, KoboldCpp를 지원합니다. 4부분으로 구성된 대화 메모리 시스템과 실험적인 MCP 도구 호출 기능도 포함합니다.

WilmerAI는 토큰 사용량을 추적하지 않으므로 운영자는 LLM 제공업체의 대시보드에서 비용을 모니터링해야 합니다. 출력 품질은 연결된 모델과 프롬프트에 크게 좌우됩니다.

핵심 기능

  • 01전체 대화 맥락을 바탕으로 설정 가능한 워크플로를 통해 프롬프트를 라우팅합니다.
  • 02노드 기반 JSON 정의를 사용해 하나의 워크플로에서 여러 LLM과 도구를 연결합니다.
  • 03기존 프런트엔드에서 사용할 수 있는 OpenAI 및 Ollama 호환 엔드포인트를 제공합니다.
  • 04Claude, OpenAI 호환 서버, Ollama, KoboldCpp 백엔드에 연결합니다.
  • 05키워드 및 선택적 임베딩 기반 검색을 지원하는 대화 메모리를 제공합니다.
  • 06OpenAI 스타일 도구 호출 전달과 JSON Schema 구조화 출력을 지원합니다.

활용 사례

  • 서로 다른 유형의 채팅 요청을 전문화된 로컬 또는 클라우드 모델로 라우팅하기.
  • 최종 LLM 호출 전에 챗봇에 검색 증강이나 웹 조회를 추가하기.
  • 구형 컴퓨터를 멀티모델 파이프라인의 작업자 LLM으로 활용하기.
  • 프런트엔드는 변경하지 않고 프롬프트 로직을 자체 서버에서 관리하기.

사용 전 알아둘 점

  • 프로젝트는 아직 개발 중이며, 보증 없이 현재 상태 그대로 제공됩니다.
  • GPL-3.0 라이선스로 제공됩니다. 카피레프트 라이선스이므로 파생 저작물도 오픈 소스로 유지해야 합니다.
  • Web fetcher를 사용하려면 Python 3.13.14/3.14.5 이상이 필요합니다. 그 외 기능은 Python 3.11.10/3.12.13에서 실행됩니다.
  • Agentic MCP 도구 통합은 실험 단계입니다.

포함된 컬렉션

셀프 호스팅 앱로컬에서 LLM 실행하기

토픽

#llm#semantic-routing#workflow#prompt-engineering#openai-compatible#ollama#self-hosted#python#ai#generative-ai

자주 묻는 질문

WilmerAI은(는) 무엇인가요?
앱과 여러 LLM API 사이에서 동작하는 자체 호스팅 LLM 시맨틱 라우터로, 표준 OpenAI 또는 Ollama 호환 엔드포인트를 통해 여러 단계의 프롬프트 워크플로를 실행합니다. WilmerAI는 가장 최근 메시지만이 아니라 전체 대화 기록을 바탕으로 요청을 여러 LLM에 라우팅합니다. 라우팅과 처리는 노드 기반 JSON 워크플로로 정의하며, 각 노드에서는 서로 다른 LLM 엔드포인트 호출, 도구 실행, 스크립트 실행 또는 다른 워크플로 호출이 가능합니다. 클라이언트 애플리케이션에서는 이 여러 단계의 과정을 하나의 표준 API 호출로 처리합니다.
WilmerAI은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
WilmerAI은(는) GPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
WilmerAI은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. WilmerAI의 마지막 커밋은 2026년 10월 25일입니다.
WilmerAI은(는) 어디에 사용할 수 있나요?
서로 다른 유형의 채팅 요청을 전문화된 로컬 또는 클라우드 모델로 라우팅하기. 최종 LLM 호출 전에 챗봇에 검색 증강이나 웹 조회를 추가하기. 구형 컴퓨터를 멀티모델 파이프라인의 작업자 LLM으로 활용하기. 프런트엔드는 변경하지 않고 프롬프트 로직을 자체 서버에서 관리하기.
WilmerAI은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/SomeOddCodeGuy/WilmerAI

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트