Repolode
제출하기
beamivalice

beamivalice/sushi

Apple Silicon Mac에서 Sushi STQ 및 EXL3 형식의 저비트 고품질 양자화 LLM을 실행하는 로컬 AI 추론 서버입니다.

GitHub에서 보기
스타
434
포크
35
열린 이슈
7
마지막 커밋
6시간 전

어떤 프로젝트인가요?

Sushi는 Apple Silicon Mac에서 저비트 양자화 대규모 언어 모델을 실행하는 로컬 AI 서버입니다. 자체 Sushi Trellis Quant(STQ) 형식과 EXL3-Affine 하이브리드 변환기를 사용해 출력 품질을 높게 유지하는 압축 모델 팩을 생성합니다. ddalcu의 mlx-serve를 별도 포크한 프로젝트로, 독립 실행하거나 mlx-serve 내부의 게스트 엔진으로 실행할 수 있습니다. M1 이상 칩과 macOS 26.2 이상이 필요합니다.

서버는 127.0.0.1:12345에서 요청을 수신하며, 기본적으로 8비트 KV 캐시를 사용하는 추측 디코딩(Qwen 및 MiMo용 MTP, GLM용 DFlash2)을 지원합니다. 모델 팩은 Qwen3.8 Flash-Next, MiMo-V2.6 Flash, GLM-5.3 Flash, DeepSeek-V4.1 Flash 모델을 지원하며, 메모리 요구 사항은 48GB부터 128GB까지 안내되어 있습니다. 스트리밍 모드에서는 가중치 일부만 메모리에 유지하고 라우팅된 전문가를 SSD에서 읽어, 가중치 용량보다 RAM이 적은 Mac에서도 모델을 실행할 수 있습니다.

API 키를 사용해 서버를 로컬 네트워크에 공개할 수 있습니다. 또한 여러 모델 팩의 KLD 및 top-1 일치율과 M5 Max 하드웨어에서의 속도 및 에이전트 도구 평가 결과도 제공합니다.

핵심 기능

  • 01Apple Silicon에서 자체 STQ 및 EXL3-Affine 형식의 저비트 양자화 LLM을 실행합니다.
  • 02Qwen 및 MiMo용 MTP와 GLM용 DFlash2 추측 디코딩을 지원합니다.
  • 03라우팅된 전문가를 SSD에서 스트리밍해 가중치 용량보다 메모리가 적은 Mac에서도 모델을 실행할 수 있습니다.
  • 04기본적으로 8비트 KV 캐시를 사용하며 로컬 포트에서 요청을 수신합니다.
  • 05Bearer API 키를 사용해 네트워크의 다른 컴퓨터에 서비스를 제공할 수 있습니다.

활용 사례

  • 48GB~128GB 메모리의 Mac에서 대규모 양자화 코딩 또는 채팅 모델을 로컬로 실행하기.
  • 가정이나 사무실 네트워크의 다른 기기에 로컬 OpenAI 스타일 엔드포인트 제공하기.
  • Qwen, GLM, MiMo, DeepSeek 모델 팩의 양자화 품질과 속도 비교하기.

빠른 시작

  1. 1

    Homebrew로 Sushi를 설치합니다

    brew install beamivalice/tap/sushi
  2. 2

    모델 팩을 지정해 서버를 시작합니다(<pack>을 README에 있는 팩 이름으로 바꾸세요)

    sushi serve <pack>

사용 전 알아둘 점

  • Apple Silicon M1 이상과 macOS 26.2 이상이 필요합니다.
  • 대부분의 모델 팩은 48GB~128GB의 메모리가 필요하며, 일부는 더 작은 Mac에서 실행하려면 SSD 스트리밍 구성이 필요합니다.
  • README에는 sushi가 MIT 라이선스라고 나와 있지만 Qwen 및 MiMo 모델 팩에는 별도의 라이선스가 적용되며, 저장소에서 감지된 라이선스는 불분명합니다.

포함된 컬렉션

로컬에서 LLM 실행하기오픈소스 Mac 앱

토픽

#llm-inference#quantization#apple-silicon#local-llm#macos#speculative-decoding#zig

자주 묻는 질문

sushi은(는) 무엇인가요?
Apple Silicon Mac에서 Sushi STQ 및 EXL3 형식의 저비트 고품질 양자화 LLM을 실행하는 로컬 AI 추론 서버입니다. Sushi는 Apple Silicon Mac에서 저비트 양자화 대규모 언어 모델을 실행하는 로컬 AI 서버입니다. 자체 Sushi Trellis Quant(STQ) 형식과 EXL3-Affine 하이브리드 변환기를 사용해 출력 품질을 높게 유지하는 압축 모델 팩을 생성합니다. ddalcu의 mlx-serve를 별도 포크한 프로젝트로, 독립 실행하거나 mlx-serve 내부의 게스트 엔진으로 실행할 수 있습니다. M1 이상 칩과 macOS 26.2 이상이 필요합니다.
sushi은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
sushi은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
sushi은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. sushi의 마지막 커밋은 2026년 11월 7일입니다.
sushi은(는) 어디에 사용할 수 있나요?
48GB~128GB 메모리의 Mac에서 대규모 양자화 코딩 또는 채팅 모델을 로컬로 실행하기. 가정이나 사무실 네트워크의 다른 기기에 로컬 OpenAI 스타일 엔드포인트 제공하기. Qwen, GLM, MiMo, DeepSeek 모델 팩의 양자화 품질과 속도 비교하기.
sushi는 어떻게 설치하나요?
Homebrew로 Sushi를 설치합니다: brew install beamivalice/tap/sushi 모델 팩을 지정해 서버를 시작합니다(<pack>을 README에 있는 팩 이름으로 바꾸세요): sushi serve <pack>
sushi은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/beamivalice/sushi

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트