lmdeploy은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

lmdeploy은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

lmdeploy은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. lmdeploy의 마지막 커밋은 2026년 10월 21일입니다.

lmdeploy은(는) 어디에 사용할 수 있나요?

GPU 메모리 사용량과 지연 시간을 줄이기 위해 오픈소스 LLM 또는 VLM을 내부 API 뒤에서 서빙. 제한된 NVIDIA GPU에서 양자화 모델 실행. Huawei Ascend 하드웨어에 모델 배포. Python 기반 PyTorch 엔진으로 새로운 모델 아키텍처 프로토타이핑.

lmdeploy는 어떻게 설치하나요?

Python 3.12 conda 환경을 만듭니다: conda create -n lmdeploy python=3.12 -y conda 환경을 활성화합니다: conda activate lmdeploy PyPI에서 LMDeploy를 설치합니다: pip install lmdeploy pipeline으로 오프라인 배치 추론을 실행합니다

lmdeploy은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/InternLM/lmdeploy

InternLM/lmdeploy

TurboMind 및 PyTorch 추론 엔진을 제공하며 LLM과 비전-언어 모델을 압축, 배포, 서빙하는 툴킷입니다.

GitHub에서 보기 웹사이트

스타: 8,111
포크: 767
열린 이슈: 613
마지막 커밋: 3시간 전

어떤 프로젝트인가요?

LMDeploy는 대규모 언어 모델을 압축, 배포, 서빙하는 툴킷입니다. Python 스크립트용 오프라인 추론 파이프라인과 온라인 서빙용 API 서버를 제공하며, 여러 모델과 여러 머신에서 다중 GPU를 사용하는 배포를 지원합니다.

이 프로젝트는 두 가지 추론 엔진을 제공합니다. TurboMind는 성능에 중점을 두고 persistent batching, blocked KV cache, tensor parallelism, weight-only 및 KV cache 양자화(AWQ 4-bit 포함) 등의 기능을 지원합니다. PyTorch 엔진은 전부 Python으로 작성되어 모델을 수정하고 새로운 모델을 실험하기 쉽습니다. 지원 매트릭스에서 각 엔진이 처리할 수 있는 모델을 확인할 수 있습니다.

지원 모델 목록에는 텍스트 모델인 Llama, Qwen, InternLM, DeepSeek, Mixtral, GLM과 LLaVA, Qwen2-VL, InternVL 같은 비전-언어 모델 등 다양한 모델 계열이 포함됩니다. 또한 Huawei Ascend 하드웨어와 NVIDIA GPU도 지원합니다.

핵심 기능

01Python 파이프라인 API를 통한 오프라인 배치 추론.
02OpenAI 호환 API 서버를 통한 온라인 서빙.
034-bit AWQ를 포함한 weight-only 및 KV cache 양자화.
04성능에 중점을 둔 TurboMind와 Python 기반 개발을 지원하는 PyTorch, 두 가지 추론 엔진.
05요청 프록시 서버를 사용한 다중 모델·다중 머신·다중 GPU 배포.

활용 사례

GPU 메모리 사용량과 지연 시간을 줄이기 위해 오픈소스 LLM 또는 VLM을 내부 API 뒤에서 서빙.
제한된 NVIDIA GPU에서 양자화 모델 실행.
Huawei Ascend 하드웨어에 모델 배포.
Python 기반 PyTorch 엔진으로 새로운 모델 아키텍처 프로토타이핑.

빠른 시작

1
Python 3.12 conda 환경을 만듭니다
conda create -n lmdeploy python=3.12 -y
2
conda 환경을 활성화합니다
conda activate lmdeploy
3
PyPI에서 LMDeploy를 설치합니다
pip install lmdeploy
4
pipeline으로 오프라인 배치 추론을 실행합니다

사용 전 알아둘 점

PyPI 사전 빌드 wheel은 CUDA 12.8을 대상으로 하므로 GPU 환경에는 호환되는 드라이버가 필요할 수 있습니다.
많은 기능과 모델이 NVIDIA GPU에 종속되어 있으며, 지원 여부는 engine과 플랫폼에 따라 다릅니다.

토픽

#llm-inference #llm #quantization #model-serving #gpu #cuda #openai-api #vision-language-model #codellama #cuda-kernels

자주 묻는 질문

lmdeploy은(는) 무엇인가요?: TurboMind 및 PyTorch 추론 엔진을 제공하며 LLM과 비전-언어 모델을 압축, 배포, 서빙하는 툴킷입니다. LMDeploy는 대규모 언어 모델을 압축, 배포, 서빙하는 툴킷입니다. Python 스크립트용 오프라인 추론 파이프라인과 온라인 서빙용 API 서버를 제공하며, 여러 모델과 여러 머신에서 다중 GPU를 사용하는 배포를 지원합니다.
lmdeploy은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: lmdeploy은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
lmdeploy은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. lmdeploy의 마지막 커밋은 2026년 10월 21일입니다.
lmdeploy은(는) 어디에 사용할 수 있나요?: GPU 메모리 사용량과 지연 시간을 줄이기 위해 오픈소스 LLM 또는 VLM을 내부 API 뒤에서 서빙. 제한된 NVIDIA GPU에서 양자화 모델 실행. Huawei Ascend 하드웨어에 모델 배포. Python 기반 PyTorch 엔진으로 새로운 모델 아키텍처 프로토타이핑.
lmdeploy는 어떻게 설치하나요?: Python 3.12 conda 환경을 만듭니다: conda create -n lmdeploy python=3.12 -y conda 환경을 활성화합니다: conda activate lmdeploy PyPI에서 LMDeploy를 설치합니다: pip install lmdeploy pipeline으로 오프라인 배치 추론을 실행합니다
lmdeploy은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/InternLM/lmdeploy

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.