lmstudio-ai/mlx-engine

어떤 프로젝트인가요?

핵심 기능

• 01Apple silicon Mac에서 MLX 형식의 텍스트 LLM을 실행합니다.
• 02Pixtral, Qwen2-VL, Llama-3.2-Vision 등의 비전 모델을 지원합니다.
• 03별도의 draft model을 사용한 추측 디코딩을 지원합니다.
• 04Outlines를 통한 구조화된 출력을 지원합니다.
• 05Mac용 LM Studio 0.3.4 이상에 기본 엔진으로 포함됩니다.

활용 사례

• LM Studio를 통해 Mac에서 LLM을 로컬로 실행하고 비공개로 사용하기.
• 독립 실행형 데모 스크립트로 MLX 텍스트 모델이나 비전 모델 테스트하기.
• MLX 모델 추론을 기반으로 로컬 Python 애플리케이션 만들기.

빠른 시작

1. 1

   저장소를 클론합니다

   git clone https://github.com/lmstudio-ai/mlx-engine.git
2. 2

   프로젝트 디렉터리로 이동합니다

   cd mlx-engine
3. 3

   필요한 종속 패키지를 설치합니다

   pip install -U -r requirements.txt
4. 4

   lms CLI로 모델을 다운로드한 다음 데모를 실행합니다

   lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

사용 전 알아둘 점

• !Apple silicon이 탑재된 macOS 14.0 이상이 필요합니다.
• !독립 실행형 데모에는 python3.11이 필요합니다.
• !모델 다운로드 용량은 모델당 수 기가바이트로 큽니다.

포함된 컬렉션

토픽

자주 묻는 질문

mlx-engine은(는) 무엇인가요?

Apple silicon에서 MLX 모델을 실행하는 LLM 추론 엔진으로, LM Studio의 백엔드로 사용됩니다. mlx-engine은 LM Studio가 Mac에서 모델을 불러와 실행할 때 사용하는 Apple MLX 기반 LLM 엔진입니다. 텍스트 생성을 위해 mlx-lm을, 구조화된 출력을 위해 Outlines를, 비전 모델을 위해 mlx-vlm을 래핑하므로 LM Studio 사용자는 Apple silicon에서 MLX 형식 모델을 로컬로 실행할 수 있습니다.

mlx-engine은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

mlx-engine은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

mlx-engine은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. mlx-engine의 마지막 커밋은 2026년 11월 3일입니다.

mlx-engine은(는) 어디에 사용할 수 있나요?

LM Studio를 통해 Mac에서 LLM을 로컬로 실행하고 비공개로 사용하기. 독립 실행형 데모 스크립트로 MLX 텍스트 모델이나 비전 모델 테스트하기. MLX 모델 추론을 기반으로 로컬 Python 애플리케이션 만들기.

mlx-engine는 어떻게 설치하나요?

저장소를 클론합니다: git clone https://github.com/lmstudio-ai/mlx-engine.git 프로젝트 디렉터리로 이동합니다: cd mlx-engine 필요한 종속 패키지를 설치합니다: pip install -U -r requirements.txt lms CLI로 모델을 다운로드한 다음 데모를 실행합니다: lms get mlx-community/Meta-Llama-3.1-8B-Instruct-4bit

mlx-engine은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/lmstudio-ai/mlx-engine