Repolode
제출하기
ddalcu

ddalcu/mlx-serve

Python 없이 Apple Silicon Mac에서 OpenAI, Anthropic, Ollama 호환 API를 제공하는 네이티브 로컬 LLM 및 미디어 서버입니다.

대체할 수 있는 제품:OllamaLM Studio

GitHub에서 보기웹사이트
스타
2,390
포크
252
열린 이슈
76
마지막 커밋
21시간 전

어떤 프로젝트인가요?

MLX-Serve는 네이티브 macOS 앱 하나와 로컬 서버 하나로 Mac에서 오픈 모델을 실행합니다. 서버는 localhost:11234의 단일 포트에서 OpenAI chat, completions, Responses 엔드포인트와 Anthropic Messages, Ollama API를 제공하므로 기존 클라이언트와 Claude Code 같은 코딩 에이전트를 수정 없이 연결할 수 있습니다. 코어는 Zig로 작성되었으며 Apple의 MLX 프레임워크에서 실행되고, 런타임과 빌드 과정 모두 Python을 사용하지 않습니다.

텍스트 채팅뿐 아니라 앱과 HTTP API를 통해 이미지, 비디오, 음악, 음성 및 3D 생성도 지원하며, 음성-텍스트 전사와 음성 복제 기능도 포함합니다. run, pull, serve 같은 명령을 제공하는 CLI로 모델을 다운로드하며, 앱은 Mac 메모리 용량에 맞는 모델을 추천합니다. 메모리가 128 GB인 머신에서는 대형 전문가 혼합 모델을 SSD에서 스트리밍할 수 있으며, Thunderbolt 5로 연결된 Mac 두 대가 모델 하나를 함께 실행할 수도 있습니다.

이 프로젝트는 기기 내 채팅과 미디어 생성을 위한 iPhone 앱과 NVIDIA GPU용 Linux 빌드도 제공합니다. MIT 라이선스를 적용하며 Xcode와 Homebrew로 소스에서 빌드할 수 있습니다.

핵심 기능

  • 01스트리밍과 tool call을 지원하며 OpenAI, Anthropic, Ollama API를 하나의 로컬 포트에서 제공합니다.
  • 02MLX를 통해 Apple Silicon에서 채팅, 이미지, 비디오, 음악, 음성 및 3D 모델을 네이티브로 실행합니다.
  • 03웹 콘솔이 내장되어 있고 메모리 용량에 따라 모델을 자동으로 추천하는 macOS 앱을 제공합니다.
  • 04중단 후 이어받을 수 있는 다운로드를 지원하는 CLI로 모델을 다운로드하고 실행하고 서빙할 수 있습니다.
  • 05Gemma, Qwen, GLM, DeepSeek 모델 제품군과 지원 아키텍처를 사용하는 MLX 또는 GGUF 모델을 실행할 수 있습니다.
  • 06Claude Code 및 기타 코딩 에이전트를 로컬 모델에 연결하는 통합 기능을 제공합니다.

활용 사례

  • 클라우드 API로 데이터를 보내지 않고 Mac에서 비공개 오프라인 채팅 어시스턴트를 실행합니다.
  • 개발 중 기존 OpenAI 또는 Anthropic SDK 코드를 로컬 모델에 연결합니다.
  • Claude Code 또는 다른 코딩 에이전트를 로컬 호스팅 모델과 함께 사용합니다.
  • 클라우드 서비스 없이 Mac 또는 iPhone에서 이미지, 음성 또는 음악을 생성합니다.

빠른 시작

  1. 1

    Homebrew 저장소를 탭하기

    brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
  2. 2

    탭을 신뢰하기

    brew trust ddalcu/mlx-serve
  3. 3

    명령줄 서버 설치하기

    brew install mlx-serve
  4. 4

    Gemma 4를 다운로드하고 터미널에서 대화하기

    mlx-serve run gemma4

사용 전 알아둘 점

  • Apple Silicon Mac에서만 실행됩니다. Mac 앱을 사용하려면 macOS 26.2 이상이 필요합니다.
  • 128 GB 및 256 GB 티어와 같은 대형 모델은 많은 메모리가 필요하며 SSD에서 가중치를 스트리밍합니다.

포함된 컬렉션

Claude Code 도구·스킬·플러그인로컬에서 LLM 실행하기오픈소스 Mac 앱

토픽

#apple-silicon#local-llm#mlx#openai-api#anthropic-api#inference#macos#tool-calling#agent#claude-code

자주 묻는 질문

mlx-serve은(는) 무엇인가요?
Python 없이 Apple Silicon Mac에서 OpenAI, Anthropic, Ollama 호환 API를 제공하는 네이티브 로컬 LLM 및 미디어 서버입니다. MLX-Serve는 네이티브 macOS 앱 하나와 로컬 서버 하나로 Mac에서 오픈 모델을 실행합니다. 서버는 localhost:11234의 단일 포트에서 OpenAI chat, completions, Responses 엔드포인트와 Anthropic Messages, Ollama API를 제공하므로 기존 클라이언트와 Claude Code 같은 코딩 에이전트를 수정 없이 연결할 수 있습니다. 코어는 Zig로 작성되었으며 Apple의 MLX 프레임워크에서 실행되고, 런타임과 빌드 과정 모두 Python을 사용하지 않습니다.
mlx-serve은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
mlx-serve은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
mlx-serve은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. mlx-serve의 마지막 커밋은 2026년 11월 6일입니다.
mlx-serve은(는) 어디에 사용할 수 있나요?
클라우드 API로 데이터를 보내지 않고 Mac에서 비공개 오프라인 채팅 어시스턴트를 실행합니다. 개발 중 기존 OpenAI 또는 Anthropic SDK 코드를 로컬 모델에 연결합니다. Claude Code 또는 다른 코딩 에이전트를 로컬 호스팅 모델과 함께 사용합니다. 클라우드 서비스 없이 Mac 또는 iPhone에서 이미지, 음성 또는 음악을 생성합니다.
mlx-serve는 어떻게 설치하나요?
Homebrew 저장소를 탭하기: brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve 탭을 신뢰하기: brew trust ddalcu/mlx-serve 명령줄 서버 설치하기: brew install mlx-serve Gemma 4를 다운로드하고 터미널에서 대화하기: mlx-serve run gemma4
mlx-serve은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ddalcu/mlx-serve

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트