vmlx은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

vmlx은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

vmlx은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. vmlx의 마지막 커밋은 2026년 10월 21일입니다.

vmlx은(는) 어디에 사용할 수 있나요?

데이터를 클라우드 API로 보내지 않고 Mac에서 오픈 웨이트 채팅 모델을 비공개로 실행합니다. 개발 중 기존 OpenAI 또는 Anthropic SDK 코드를 로컬 모델에 연결합니다. 하나의 API 게이트웨이를 통해 여러 도구에 로컬 모델을 동시에 제공합니다. Apple Silicon 하드웨어에서 이미지를 로컬로 생성하거나 편집합니다.

vmlx는 어떻게 설치하나요?

Homebrew로 uv 설치하기: brew install uv PyPI에서 도구로 vmlx 설치하기: uv tool install vmlx mlx-community의 모델로 서버 시작하기: vmlx serve mlx-community/Qwen3-8B-4bit

vmlx은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jjang-ai/vmlx

jjang-ai/vmlx

Apple Silicon에서 LLM, VLM 및 이미지 생성 모델을 위한 OpenAI·Anthropic·Ollama 호환 API를 제공하는 셀프 호스팅 MLX 추론 서버입니다.

대체할 수 있는 제품:LM Studio Ollama

GitHub에서 보기 웹사이트

스타: 899
포크: 97
열린 이슈: 63
마지막 커밋: 어제

어떤 프로젝트인가요?

vMLX는 Apple Silicon이 탑재된 Mac에서 대규모 언어 모델, 비전-언어 모델 및 이미지 생성 모델을 로컬로 실행하는 추론 서버입니다. OpenAI, Anthropic, Ollama와 호환되는 HTTP 엔드포인트를 제공하므로 OpenAI Python 클라이언트, Anthropic SDK, Ollama CLI 같은 기존 SDK와 도구를 서드파티 API 키 없이 로컬 서버에 연결할 수 있습니다. 모델은 Hugging Face 저장소나 로컬 경로에서 불러오며, 보통 mlx-community 모델을 시작점으로 사용합니다.

서버에는 prefix caching, paged KV cache, KV quantization, 선택형 디스크 캐시를 비롯한 여러 캐싱 계층이 포함되어 있어 반복되거나 이어지는 메시지에서 프롬프트 상태를 재사용합니다. continuous batching, 다양한 모델 계열을 위한 tool calling 및 reasoning 파서, speculative decoding도 지원하며, 한 대에서 실행하기에 너무 큰 모델은 여러 Mac에 걸친 pipeline parallelism으로 처리할 수 있습니다. Flux 및 Qwen Image Edit를 이용한 이미지 생성과 편집, 임베딩, reranking, Whisper 음성-텍스트 변환, Kokoro 텍스트-음성 변환도 같은 서버에서 사용할 수 있습니다.

프로젝트에는 변환 도구가 포함된 적응형 혼합 정밀도 양자화 포맷 JANG과 채팅, 서버 관리, 개발자 도구를 갖춘 macOS 데스크톱 앱 MLX Studio도 제공됩니다. PyPI에서 `vmlx`로 설치할 수 있습니다.

핵심 기능

01OpenAI, Anthropic, Ollama 호환 채팅, completion, 임베딩 및 rerank 엔드포인트를 제공합니다.
02선택형 q4/q8 캐시 양자화를 지원하는 다중 계층 prefix, paged, 디스크 KV 캐시를 제공합니다.
03더 빠른 생성을 위해 continuous batching과 speculative 또는 prompt lookup 디코딩을 지원합니다.
04다양한 모델 계열에서 tool calling 및 reasoning(생각 과정) 파서를 자동으로 감지합니다.
05Flux 및 Qwen Image Edit 모델로 이미지를 생성하고 편집합니다.
06대형 모델을 위해 여러 Mac에 걸친 분산 pipeline parallelism을 지원합니다.

활용 사례

데이터를 클라우드 API로 보내지 않고 Mac에서 오픈 웨이트 채팅 모델을 비공개로 실행합니다.
개발 중 기존 OpenAI 또는 Anthropic SDK 코드를 로컬 모델에 연결합니다.
하나의 API 게이트웨이를 통해 여러 도구에 로컬 모델을 동시에 제공합니다.
Apple Silicon 하드웨어에서 이미지를 로컬로 생성하거나 편집합니다.

빠른 시작

1
Homebrew로 uv 설치하기
brew install uv
2
PyPI에서 도구로 vmlx 설치하기
uv tool install vmlx
3
mlx-community의 모델로 서버 시작하기
vmlx serve mlx-community/Qwen3-8B-4bit

사용 전 알아둘 점

Apple Silicon Mac에서만 실행되므로 Linux, Windows, Intel Mac에서는 작동하지 않습니다.
Python 3.10 이상이 필요합니다.

포함된 컬렉션

로컬에서 LLM 실행하기 오픈소스 Mac 앱

토픽

#mlx #apple-silicon #llm #inference-server #openai-api #local-llm #kv-cache #quantization #anthropic-api #kvcache-compression

자주 묻는 질문

vmlx은(는) 무엇인가요?: Apple Silicon에서 LLM, VLM 및 이미지 생성 모델을 위한 OpenAI·Anthropic·Ollama 호환 API를 제공하는 셀프 호스팅 MLX 추론 서버입니다. vMLX는 Apple Silicon이 탑재된 Mac에서 대규모 언어 모델, 비전-언어 모델 및 이미지 생성 모델을 로컬로 실행하는 추론 서버입니다. OpenAI, Anthropic, Ollama와 호환되는 HTTP 엔드포인트를 제공하므로 OpenAI Python 클라이언트, Anthropic SDK, Ollama CLI 같은 기존 SDK와 도구를 서드파티 API 키 없이 로컬 서버에 연결할 수 있습니다. 모델은 Hugging Face 저장소나 로컬 경로에서 불러오며, 보통 mlx-community 모델을 시작점으로 사용합니다.
vmlx은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: vmlx은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
vmlx은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. vmlx의 마지막 커밋은 2026년 10월 21일입니다.
vmlx은(는) 어디에 사용할 수 있나요?: 데이터를 클라우드 API로 보내지 않고 Mac에서 오픈 웨이트 채팅 모델을 비공개로 실행합니다. 개발 중 기존 OpenAI 또는 Anthropic SDK 코드를 로컬 모델에 연결합니다. 하나의 API 게이트웨이를 통해 여러 도구에 로컬 모델을 동시에 제공합니다. Apple Silicon 하드웨어에서 이미지를 로컬로 생성하거나 편집합니다.
vmlx는 어떻게 설치하나요?: Homebrew로 uv 설치하기: brew install uv PyPI에서 도구로 vmlx 설치하기: uv tool install vmlx mlx-community의 모델로 서버 시작하기: vmlx serve mlx-community/Qwen3-8B-4bit
vmlx은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jjang-ai/vmlx

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.