Repolode
제출하기
carloslfu

carloslfu/slotstream

SSD에서 전문가 가중치를 스트리밍해 16–64GB Apple Silicon Mac에서 105GB Qwen3.8-Flash-Next 4-bit 모델을 실행하는 네이티브 Swift 엔진입니다.

GitHub에서 보기
스타
652
포크
54
열린 이슈
77
마지막 커밋
그저께

어떤 프로젝트인가요?

Slotstream은 Apple의 MLX와 Metal 기반으로 Swift로 작성된 Apple Silicon Mac용 로컬 추론 엔진입니다. 시스템 RAM보다 훨씬 큰 가중치를 사용하는 mixture-of-experts 모델을 실행합니다. 공유 가중치는 메모리에 유지하고, 각 토큰 처리에 필요한 전문가는 SSD에서 제한된 캐시로 읽어 오며, 자주 사용하는 전문가는 RAM에 보관합니다. 모델을 다운로드한 뒤에는 추론이 Mac에서 전부 실행되므로 Python 런타임이나 클라우드 계정이 필요하지 않습니다.

공개된 엔진은 메모리가 16~64GB인 Mac에서 Qwen3.8-Flash-Next 4-bit를 실행하도록 설계되었습니다. Auto 모드는 시작할 때 메모리 예산, 캐시 크기, speculative decoding 및 컨텍스트 창을 선택하며, 다른 앱에서 메모리가 필요하면 governor가 캐시를 줄입니다. CLI, Ollama·OpenAI·Anthropic 호환 HTTP API, Swift 라이브러리를 제공합니다. `slotstream launch` 명령을 사용하면 로컬 서버에 이미 연결된 상태로 Claude Code, Codex, Pi, opencode 또는 Hermes를 실행할 수 있습니다.

엔진을 사용하려면 macOS 14 이상과 Apple Silicon이 필요합니다. Windows, Linux 및 Intel Mac은 지원하지 않습니다.

핵심 기능

  • 01mixture-of-experts 가중치를 SSD에서 제한된 메모리 내 전문가 캐시로 스트리밍합니다.
  • 02Mac에 맞춰 캐시 크기, 컨텍스트 창 및 speculative decoding을 자동으로 계획합니다.
  • 03로컬 앱에서 사용할 수 있는 Ollama·OpenAI·Anthropic 호환 API를 제공합니다.
  • 04명령 하나로 Claude Code, Codex, Pi, opencode 및 Hermes를 로컬 모델에 연결해 실행합니다.
  • 05엔진을 네이티브 앱에 임베드할 수 있는 Swift 라이브러리를 제공합니다.
  • 06모델을 다운로드한 뒤에는 완전히 오프라인으로 실행됩니다.

활용 사례

  • RAM에 담을 수 없는 대형 오픈 웨이트 모델을 16~64GB Mac에서 실행하기.
  • 코드가 내 컴퓨터 밖으로 나가지 않도록 Claude Code 또는 Codex를 로컬 모델과 함께 사용하기.
  • Open WebUI 같은 로컬 채팅 프런트엔드를 오프라인 모델 서버에 연결하기.
  • Swift로 작성된 네이티브 macOS 앱에 로컬 LLM 임베드하기.

빠른 시작

  1. 1

    README에 있는 공식 설치 스크립트를 실행하세요

  2. 2

    Mac의 메모리와 디스크 여유 공간을 확인하세요

    slotstream doctor
  3. 3

    모델에 첫 번째 응답을 요청하세요(처음 실행할 때 모델이 다운로드됩니다)

    slotstream run --prompt "Why is the sky blue?"

사용 전 알아둘 점

  • macOS 14 이상이 설치된 Apple Silicon Mac에서만 실행됩니다. Windows, Linux 및 Intel Mac은 지원되지 않습니다.
  • 기본 모델을 사용하려면 메모리 16GB 이상과 SSD 여유 공간 약 110GB가 필요합니다.
  • 처음 실행할 때 약 105GB 용량의 모델을 다운로드하며, 몇 시간이 걸릴 수 있습니다.
  • Slotstream은 Qwen3.8-Flash-Next 4-bit 모델 하나만 유지합니다.

포함된 컬렉션

Claude Code 도구·스킬·플러그인로컬에서 LLM 실행하기오픈소스 Mac 앱

토픽

#apple-silicon#local-llm#mlx#swift#metal#mixture-of-experts#inference-engine#ollama-compatible#claude-code#llm

자주 묻는 질문

slotstream은(는) 무엇인가요?
SSD에서 전문가 가중치를 스트리밍해 16–64GB Apple Silicon Mac에서 105GB Qwen3.8-Flash-Next 4-bit 모델을 실행하는 네이티브 Swift 엔진입니다. Slotstream은 Apple의 MLX와 Metal 기반으로 Swift로 작성된 Apple Silicon Mac용 로컬 추론 엔진입니다. 시스템 RAM보다 훨씬 큰 가중치를 사용하는 mixture-of-experts 모델을 실행합니다. 공유 가중치는 메모리에 유지하고, 각 토큰 처리에 필요한 전문가는 SSD에서 제한된 캐시로 읽어 오며, 자주 사용하는 전문가는 RAM에 보관합니다. 모델을 다운로드한 뒤에는 추론이 Mac에서 전부 실행되므로 Python 런타임이나 클라우드 계정이 필요하지 않습니다.
slotstream은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
slotstream은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
slotstream은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. slotstream의 마지막 커밋은 2026년 11월 4일입니다.
slotstream은(는) 어디에 사용할 수 있나요?
RAM에 담을 수 없는 대형 오픈 웨이트 모델을 16~64GB Mac에서 실행하기. 코드가 내 컴퓨터 밖으로 나가지 않도록 Claude Code 또는 Codex를 로컬 모델과 함께 사용하기. Open WebUI 같은 로컬 채팅 프런트엔드를 오프라인 모델 서버에 연결하기. Swift로 작성된 네이티브 macOS 앱에 로컬 LLM 임베드하기.
slotstream는 어떻게 설치하나요?
README에 있는 공식 설치 스크립트를 실행하세요 Mac의 메모리와 디스크 여유 공간을 확인하세요: slotstream doctor 모델에 첫 번째 응답을 요청하세요(처음 실행할 때 모델이 다운로드됩니다): slotstream run --prompt "Why is the sky blue?"
slotstream은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/carloslfu/slotstream

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트