sonar은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

sonar은(는) AGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

sonar은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. sonar의 마지막 커밋은 2026년 11월 3일입니다.

sonar은(는) 어디에 사용할 수 있나요?

프로덕션 환경에서 OpenAI 호환 API로 오픈 웨이트 LLM 서빙 GPU 메모리가 제한된 환경에서 양자화 모델 실행 병렬 처리를 사용해 멀티 GPU 또는 멀티 노드 추론 배포 기본 모델을 LoRA로 파인튜닝한 변형 모델 호스팅

sonar는 어떻게 설치하나요?

README에 있는 공식 설치 스크립트를 실행합니다 OpenAI 호환 서버로 모델을 서빙합니다: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

sonar은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/dphnAI/sonar

dphnAI/sonar

vLLM 기반의 Hugging Face 호환 모델용 LLM 추론 엔진으로, OpenAI 호환 서빙과 분산 배포를 지원합니다.

GitHub에서 보기 웹사이트

스타: 1,904
포크: 213
열린 이슈: 55
마지막 커밋: 3일 전

어떤 프로젝트인가요?

Sonar는 Hugging Face 호환 언어 및 멀티모달 모델을 서빙하는 추론 엔진입니다. 연속 배칭, paged KV-cache 관리, 최적화된 커널, 양자화, 추측 디코딩, 분산 서빙을 지원합니다. vLLM을 기반으로 하며, 추가 모델 및 양자화 형식, 샘플링 방식, 커널, 플랫폼, 배포 기능을 제공합니다.

기본적으로 `aphrodite serve` 명령은 포트 2242에서 HTTP 서버를 시작합니다. OpenAI 호환 API와 상태 확인, Prometheus 스타일 메트릭, OpenAPI 스키마를 제공합니다. 지원 하드웨어는 NVIDIA CUDA, AMD ROCm, Intel XPU, CPU, Apple silicon Metal, Google TPU이며, 각 환경의 설치 방법이 문서화되어 있습니다.

모델, 장치, 데이터 형식, 양자화 방식에 따라 지원 여부가 다르므로 배포 전에 프로젝트에서 생성한 모델 및 양자화 호환성 표를 확인해야 합니다.

핵심 기능

01paged KV-cache 관리와 prefix 캐싱을 지원하는 연속 배칭
02Ray 없이 구성하는 멀티 노드 환경을 포함한 텐서, 파이프라인, 데이터, 전문가 병렬 처리
03MTP, EAGLE, n-gram 및 기타 방식을 지원하는 추측 디코딩
04양자화된 가중치와 FP8 KV cache
05LoRA 어댑터 서빙 및 이미지, 오디오, 비디오 모델 지원
06구조화된 출력과 도구 호출을 지원하는 OpenAI 및 Anthropic 호환 API

활용 사례

프로덕션 환경에서 OpenAI 호환 API로 오픈 웨이트 LLM 서빙
GPU 메모리가 제한된 환경에서 양자화 모델 실행
병렬 처리를 사용해 멀티 GPU 또는 멀티 노드 추론 배포
기본 모델을 LoRA로 파인튜닝한 변형 모델 호스팅

빠른 시작

1
README에 있는 공식 설치 스크립트를 실행합니다
2
OpenAI 호환 서버로 모델을 서빙합니다
aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

사용 전 알아둘 점

AGPL-3.0 카피레프트 라이선스가 적용되며, 파생 네트워크 서비스는 소스 코드를 공유해야 합니다.
지원 여부는 모델, 디바이스, 데이터 유형, 양자화 방식에 따라 다르므로 배포 전에 모델 및 양자화 매트릭스를 확인하세요.

포함된 컬렉션

로컬에서 LLM 실행하기 GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference #inference-engine #openai-compatible #quantization #speculative-decoding #lora #gpu #distributed-inference#api-rest#cuda

자주 묻는 질문

sonar은(는) 무엇인가요?: vLLM 기반의 Hugging Face 호환 모델용 LLM 추론 엔진으로, OpenAI 호환 서빙과 분산 배포를 지원합니다. Sonar는 Hugging Face 호환 언어 및 멀티모달 모델을 서빙하는 추론 엔진입니다. 연속 배칭, paged KV-cache 관리, 최적화된 커널, 양자화, 추측 디코딩, 분산 서빙을 지원합니다. vLLM을 기반으로 하며, 추가 모델 및 양자화 형식, 샘플링 방식, 커널, 플랫폼, 배포 기능을 제공합니다.
sonar은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: sonar은(는) AGPL-3.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
sonar은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. sonar의 마지막 커밋은 2026년 11월 3일입니다.
sonar은(는) 어디에 사용할 수 있나요?: 프로덕션 환경에서 OpenAI 호환 API로 오픈 웨이트 LLM 서빙 GPU 메모리가 제한된 환경에서 양자화 모델 실행 병렬 처리를 사용해 멀티 GPU 또는 멀티 노드 추론 배포 기본 모델을 LoRA로 파인튜닝한 변형 모델 호스팅
sonar는 어떻게 설치하나요?: README에 있는 공식 설치 스크립트를 실행합니다 OpenAI 호환 서버로 모델을 서빙합니다: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3
sonar은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/dphnAI/sonar

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.