jundot/omlx

어떤 프로젝트인가요?

핵심 기능

• 01OpenAI 및 Anthropic 호환 채팅, completion, 임베딩, 리랭킹 엔드포인트를 제공합니다.
• 02RAM 핫 계층과 재시작 후에도 유지되는 SSD 콜드 계층으로 KV 캐시를 관리합니다.
• 03mlx-lm의 BatchGenerator를 통해 동시 요청을 연속 배칭으로 처리합니다.
• 04LRU 퇴출, 고정, 모델별 TTL, 메모리 한도를 적용해 여러 모델을 제공합니다.
• 05모니터링, 다운로드, 설정을 지원하는 네이티브 메뉴 막대 앱과 웹 관리 대시보드를 제공합니다.
• 06다양한 모델 계열의 tool-call 형식을 자동 감지하며 MCP를 지원합니다.

활용 사례

• Mac에서 Claude Code 같은 로컬 코딩 어시스턴트를 모델에 연결해 실행합니다.
• 클라우드 API를 기대하는 앱을 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다.
• 자주 사용하는 모델은 로드된 상태로 유지하고, 용량이 큰 모델은 필요할 때 교체합니다.
• Mac 한 대에서 채팅 모델과 함께 임베딩, 리랭킹 또는 OCR 모델을 실행합니다.

빠른 시작

1. 1

   Homebrew tap을 추가합니다

   brew tap jundot/omlx https://github.com/jundot/omlx
2. 2

   Homebrew로 oMLX를 설치합니다

   brew install jundot/omlx/omlx
3. 3

   모델 디렉터리를 지정해 포그라운드 서버를 시작합니다

   omlx serve --model-dir ~/models

사용 전 알아둘 점

• !Apple Silicon Mac만 지원하며, macOS 15.0 이상이 필요합니다.
• !일부 모델 계열에는 네이티브 커스텀 커널이 필요합니다. 소스에서 빌드하려면 Metal toolchain이 포함된 정식 Xcode가 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

omlx은(는) 무엇인가요?

연속 배칭, RAM/SSD 계층형 KV 캐시, 메뉴 막대 관리를 지원하는 Apple Silicon Mac용 LLM 추론 서버입니다. oMLX는 MLX와 mlx-lm을 기반으로 Apple Silicon Mac에 맞춰 만든 LLM 추론 서버입니다. 로컬 주소에서 OpenAI 호환 및 Anthropic 호환 API를 제공하므로, 기존 클라이언트와 코딩 도구를 연결해 머신에서 실행 중인 모델을 사용할 수 있습니다. 텍스트 LLM, 비전-언어 모델, OCR 모델, 임베딩 모델, 리랭커를 하나의 서버에서 제공합니다.

omlx은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

omlx은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

omlx은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. omlx의 마지막 커밋은 2026년 11월 5일입니다.

omlx은(는) 어디에 사용할 수 있나요?

Mac에서 Claude Code 같은 로컬 코딩 어시스턴트를 모델에 연결해 실행합니다. 클라우드 API를 기대하는 앱을 위해 로컬 OpenAI 호환 엔드포인트를 제공합니다. 자주 사용하는 모델은 로드된 상태로 유지하고, 용량이 큰 모델은 필요할 때 교체합니다. Mac 한 대에서 채팅 모델과 함께 임베딩, 리랭킹 또는 OCR 모델을 실행합니다.

omlx는 어떻게 설치하나요?

Homebrew tap을 추가합니다: brew tap jundot/omlx https://github.com/jundot/omlx Homebrew로 oMLX를 설치합니다: brew install jundot/omlx/omlx 모델 디렉터리를 지정해 포그라운드 서버를 시작합니다: omlx serve --model-dir ~/models

omlx은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jundot/omlx