Repolode
제출하기
intentee

intentee/paddler

llama.cpp를 사용해 자체 CPU 또는 GPU 인프라에서 추론을 실행하는 오픈소스 LLM 로드 밸런서 및 서빙 플랫폼입니다.

GitHub에서 보기웹사이트
스타
1,689
포크
97
열린 이슈
30
마지막 커밋
7일 전

어떤 프로젝트인가요?

Paddler는 셀프 호스팅 방식의 LLM 로드 밸런서이자 서빙 플랫폼입니다. 내장 llama.cpp 엔진을 통해 자체 인프라에서 추론, 임베딩, 멀티모달 모델을 실행하므로, 애플리케이션이 비공개 모델 API와 토큰당 과금에 덜 의존하게 할 수 있습니다.

단일 바이너리로 제공되며, 배포 가능한 구성 요소는 두 가지입니다. 들어오는 요청을 분산하는 밸런서와 추론 슬롯을 실행하는 에이전트입니다. 에이전트를 동적으로 추가할 수 있어 오토스케일링 도구와 연동할 수 있으며, 호스트가 하나도 없는 상태에서 배포 규모를 늘릴 수 있도록 들어오는 요청을 버퍼링할 수도 있습니다. 모델도 동적으로 교체할 수 있습니다.

내장 웹 관리 패널에서 클러스터를 모니터링하고, 모델과 채팅 템플릿을 편집하고, GUI에서 프롬프트를 테스트할 수 있습니다. 베타 데스크톱 애플리케이션은 노트북과 PC를 모아 로컬 AI 클러스터를 구성하는 등 일반 사용을 겨냥합니다.

핵심 기능

  • 01토큰 및 임베딩을 위한 내장 llama.cpp 추론 엔진
  • 02에이전트와 슬롯 전반의 LLM 인식 로드 밸런싱
  • 03오토스케일링 연동을 위한 에이전트 동적 등록
  • 04호스트가 없는 상태에서의 스케일링을 지원하는 요청 버퍼링
  • 05동적 모델 교체
  • 06모니터링, 구성, 테스트를 위한 웹 관리 패널
  • 07관측 가능성 메트릭

활용 사례

  • 데이터를 자체 서버에 보관하면서 제품 내에서 LLM 추론 및 임베딩 실행
  • 엄격한 개인정보 보호 또는 컴플라이언스 요구 사항이 있는 팀에 모델 제공
  • 사무실의 유휴 GPU나 PC를 모아 로컬 AI 클러스터 구성
  • 예측하기 어려운 토큰당 API 비용을 자체 관리 용량으로 대체

빠른 시작

  1. 1

    GitHub 릴리스 페이지에서 paddler 바이너리를 받으세요

  2. 2

    balancer를 시작하세요

    paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062
  3. 3

    슬롯 4개로 에이전트를 시작하세요

    paddler agent --management-addr 127.0.0.1:8060 --slots 4

사용 전 알아둘 점

  • 소스에서 빌드하려면 Rust MSRV 1.88.0 이상이 필요합니다.
  • 데스크톱 애플리케이션은 아직 베타 버전입니다.
  • 모델을 실행하려면 CPU 또는 GPU 호스트와 같은 자체 컴퓨팅 인프라가 필요합니다.

포함된 컬렉션

셀프 호스팅 앱로컬에서 LLM 실행하기GPU로 AI를 학습하고 실행하는 도구

토픽

#llm#llama-cpp#load-balancer#inference#self-hosted#gpu#embeddings#rust#ai#llamacpp

자주 묻는 질문

paddler은(는) 무엇인가요?
llama.cpp를 사용해 자체 CPU 또는 GPU 인프라에서 추론을 실행하는 오픈소스 LLM 로드 밸런서 및 서빙 플랫폼입니다. Paddler는 셀프 호스팅 방식의 LLM 로드 밸런서이자 서빙 플랫폼입니다. 내장 llama.cpp 엔진을 통해 자체 인프라에서 추론, 임베딩, 멀티모달 모델을 실행하므로, 애플리케이션이 비공개 모델 API와 토큰당 과금에 덜 의존하게 할 수 있습니다.
paddler은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
paddler은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
paddler은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. paddler의 마지막 커밋은 2026년 10월 30일입니다.
paddler은(는) 어디에 사용할 수 있나요?
데이터를 자체 서버에 보관하면서 제품 내에서 LLM 추론 및 임베딩 실행 엄격한 개인정보 보호 또는 컴플라이언스 요구 사항이 있는 팀에 모델 제공 사무실의 유휴 GPU나 PC를 모아 로컬 AI 클러스터 구성 예측하기 어려운 토큰당 API 비용을 자체 관리 용량으로 대체
paddler는 어떻게 설치하나요?
GitHub 릴리스 페이지에서 paddler 바이너리를 받으세요 balancer를 시작하세요: paddler balancer --inference-addr 127.0.0.1:8061 --management-addr 127.0.0.1:8060 --web-admin-panel-addr 127.0.0.1:8062 슬롯 4개로 에이전트를 시작하세요: paddler agent --management-addr 127.0.0.1:8060 --slots 4
paddler은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/intentee/paddler

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트