Repolode
제출하기
bentoml

bentoml/OpenLLM

Llama, Qwen 같은 오픈소스 LLM을 단일 명령으로 OpenAI 호환 API 엔드포인트로 실행하고, 기본 제공 채팅 UI도 사용할 수 있습니다.

대체할 수 있는 제품:OpenAI API

GitHub에서 보기웹사이트
스타
12,583
포크
849
열린 이슈
21
마지막 커밋
4일 전

어떤 프로젝트인가요?

OpenLLM은 오픈소스 대규모 언어 모델을 직접 호스팅할 수 있는 Python 도구입니다. `openllm serve llama3.2:1b` 같은 명령으로 모델을 실행하면 localhost의 3000번 포트에서 OpenAI 호환 API를 제공하므로, 기존 OpenAI 클라이언트 코드나 LlamaIndex 같은 도구는 base URL만 바꿔 연결할 수 있습니다.

Llama 3.x, Mistral, Qwen 2.5, Gemma, DeepSeek 등을 포함해 지원 모델 카탈로그를 제공하며, 서버에는 /chat 경로에서 사용할 수 있는 채팅 UI가 포함됩니다. 액세스가 제한된 모델을 사용하려면 Hugging Face 토큰이 필요하고, OpenLLM 자체에는 모델 가중치가 저장되지 않습니다. CLI 명령인 `openllm run`을 사용하면 터미널에서 채팅 세션을 열 수 있습니다.

모델은 모델 저장소 단위로 구성됩니다. 사용자는 BentoML을 사용해 모델을 Bento로 패키징한 공개 저장소를 추가할 수 있으며, 프로젝트는 이를 바탕으로 Docker 및 Kubernetes 배포를 구성하는 방법도 설명합니다.

핵심 기능

  • 01오픈소스 LLM을 OpenAI 호환 API 엔드포인트로 제공합니다.
  • 02`openllm serve` 명령 하나로 모델 서버를 실행합니다.
  • 03/chat 경로에서 사용할 수 있는 기본 채팅 UI를 제공합니다.
  • 04`openllm run`으로 터미널 채팅을 실행할 수 있습니다.
  • 05사용자 지정 공개 저장소를 포함한 모델 저장소를 지원합니다.
  • 06Docker 및 Kubernetes 배포용으로 모델을 Bento로 빌드합니다.

활용 사례

  • Llama 또는 Qwen 모델을 로컬에서 호스팅해 기존 앱에 OpenAI 스타일 API로 연결합니다.
  • 클라이언트 코드를 변경하지 않고 OpenAI SDK 코드로 오픈소스 모델을 테스트합니다.
  • BentoML 패키징을 사용해 사용자 지정 모델이나 파인튜닝 모델을 Docker 또는 Kubernetes에 배포합니다.

빠른 시작

  1. 1

    pip으로 OpenLLM 설치하기

    pip install openllm
  2. 2

    OpenLLM을 대화형으로 사용해 보기

    openllm hello
  3. 3

    액세스 제한 모델에 사용할 Hugging Face 토큰 설정하기

    export HF_TOKEN=<your token>
  4. 4

    모델을 지정해 LLM 서버 시작하기

    openllm serve llama3.2:1b

사용 전 알아둘 점

  • Llama와 같은 액세스 제한 모델을 사용하려면 Hugging Face 토큰과 액세스 승인이 필요합니다.
  • 대형 모델에는 상당한 GPU 메모리가 필요합니다. 예를 들어 일부 모델에는 80G GPU가 필요합니다.

포함된 컬렉션

셀프 호스팅 앱

토픽

#llm#llm-serving#openai-compatible#self-hosted#inference#model-serving#python#bentoml#fine-tuning#llama

자주 묻는 질문

OpenLLM은(는) 무엇인가요?
Llama, Qwen 같은 오픈소스 LLM을 단일 명령으로 OpenAI 호환 API 엔드포인트로 실행하고, 기본 제공 채팅 UI도 사용할 수 있습니다. OpenLLM은 오픈소스 대규모 언어 모델을 직접 호스팅할 수 있는 Python 도구입니다. `openllm serve llama3.2:1b` 같은 명령으로 모델을 실행하면 localhost의 3000번 포트에서 OpenAI 호환 API를 제공하므로, 기존 OpenAI 클라이언트 코드나 LlamaIndex 같은 도구는 base URL만 바꿔 연결할 수 있습니다.
OpenLLM은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
OpenLLM은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
OpenLLM은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. OpenLLM의 마지막 커밋은 2026년 11월 2일입니다.
OpenLLM은(는) 어디에 사용할 수 있나요?
Llama 또는 Qwen 모델을 로컬에서 호스팅해 기존 앱에 OpenAI 스타일 API로 연결합니다. 클라이언트 코드를 변경하지 않고 OpenAI SDK 코드로 오픈소스 모델을 테스트합니다. BentoML 패키징을 사용해 사용자 지정 모델이나 파인튜닝 모델을 Docker 또는 Kubernetes에 배포합니다.
OpenLLM는 어떻게 설치하나요?
pip으로 OpenLLM 설치하기: pip install openllm OpenLLM을 대화형으로 사용해 보기: openllm hello 액세스 제한 모델에 사용할 Hugging Face 토큰 설정하기: export HF_TOKEN=<your token> 모델을 지정해 LLM 서버 시작하기: openllm serve llama3.2:1b
OpenLLM은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/bentoml/OpenLLM

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트