USB-C로 iPhone과 Mac을 연결해 휴대폰 GPU로 로컬 Qwen 27B 추론의 프롬프트 처리와 컨텍스트 길이를 개선합니다.
incoai/splash
추측 디코딩과 Metal 커널을 사용해 코딩 에이전트와 OpenAI/Anthropic 호환 API를 제공하는 Apple silicon Mac용 로컬 LLM 추론 엔진입니다.
대체할 수 있는 제품:LM Studio
- 스타
- 1,593
- 포크
- 153
- 열린 이슈
- 70
- 마지막 커밋
- 7시간 전
어떤 프로젝트인가요?
Splash는 Apple silicon이 탑재된 Mac을 위한 로컬 추론 엔진입니다. 단일 머신에서 언어 모델을 실행하고 OpenAI Chat Completions, Responses, Completions 및 Anthropic Messages 호환 엔드포인트를 제공하므로, 기존 코딩 에이전트와 애플리케이션이 클라우드 서비스 대신 localhost에 연결할 수 있습니다.
이 엔진은 DFlash 2 추측 디코딩과 지원되는 각 모델 계열에 맞춰 작성한 Metal 커널을 결합하고, 메모리를 자동으로 계획합니다. 재사용된 프리픽스를 캐싱하고, 여러 요청을 일괄 처리하며, 비전 입력, 툴 호출, JSON Schema 출력을 지원하고, 내장 채팅 페이지도 제공합니다. 지원 모델에는 GGUF 또는 MLX 양자화 형식의 Qwen3.8-27B, Qwen3.6-35B-A3B, Qwen3.8-Flash-Next가 포함됩니다.
Homebrew로 설치할 수 있으며 `splash serve` 명령 하나로 서버를 시작합니다. Apple M3 이상 칩, macOS 26.4 이상, 그리고 4비트 예제 실행에 필요한 최소 36 GB의 통합 메모리가 요구됩니다.
핵심 기능
- 01스트리밍과 툴 호출을 지원하는 OpenAI 및 Anthropic 호환 API를 제공합니다.
- 02모델별 Metal 커널과 함께 DFlash 2 추측 디코딩을 사용합니다.
- 03메모리를 자동으로 계획하고 요청 간 캐시된 프리픽스를 재사용합니다.
- 04이미지와 PDF 입력, JSON Schema 구조화 출력을 지원합니다.
- 05내장 채팅 페이지와 여러 코딩 에이전트용 실행 도구를 제공합니다.
활용 사례
- opencode나 Claude 같은 코딩 에이전트를 Mac의 로컬 모델에 연결해 실행합니다.
- 클라우드 API 비용 없이 OpenAI 또는 Anthropic 호환 엔드포인트를 사용해 애플리케이션을 개발합니다.
- 프롬프트와 코드를 호스팅 서비스로 보내지 않고 로컬 머신에 보관합니다.
빠른 시작
- 1
Homebrew로 Splash를 설치하세요
brew install incoai/tap/splash - 2
서버를 시작하고 모델을 다운로드하세요
splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M - 3
Ready가 표시되면 브라우저에서 http://127.0.0.1:8000을 여세요
사용 전 알아둘 점
- M3 이상 칩이 탑재된 Apple silicon Mac과 macOS 26.4 이상이 필요합니다.
- 4-bit 예제를 사용하려면 통합 메모리가 최소 36 GB 필요합니다. 메모리가 더 적은 Mac에서는 더 작은 GGUF 변형을 사용해야 합니다.
- 지원되는 모델 계열이 제한적이며, 전체가 BF16 또는 F16인 모델은 지원하지 않습니다.
토픽
자주 묻는 질문
- splash은(는) 무엇인가요?
- 추측 디코딩과 Metal 커널을 사용해 코딩 에이전트와 OpenAI/Anthropic 호환 API를 제공하는 Apple silicon Mac용 로컬 LLM 추론 엔진입니다. Splash는 Apple silicon이 탑재된 Mac을 위한 로컬 추론 엔진입니다. 단일 머신에서 언어 모델을 실행하고 OpenAI Chat Completions, Responses, Completions 및 Anthropic Messages 호환 엔드포인트를 제공하므로, 기존 코딩 에이전트와 애플리케이션이 클라우드 서비스 대신 localhost에 연결할 수 있습니다.
- splash은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- splash은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- splash은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. splash의 마지막 커밋은 2026년 10월 20일입니다.
- splash은(는) 어디에 사용할 수 있나요?
- opencode나 Claude 같은 코딩 에이전트를 Mac의 로컬 모델에 연결해 실행합니다. 클라우드 API 비용 없이 OpenAI 또는 Anthropic 호환 엔드포인트를 사용해 애플리케이션을 개발합니다. 프롬프트와 코드를 호스팅 서비스로 보내지 않고 로컬 머신에 보관합니다.
- splash는 어떻게 설치하나요?
- Homebrew로 Splash를 설치하세요: brew install incoai/tap/splash 서버를 시작하고 모델을 다운로드하세요: splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M Ready가 표시되면 브라우저에서 http://127.0.0.1:8000을 여세요
- splash은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/incoai/splash
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
하드웨어에 맞게 커널을 튜닝해 Apple Silicon, NVIDIA, AMD 또는 CPU에서 오픈 모델을 더 빠르게 실행하는 오픈소스 추론 엔진입니다.
보유한 기기를 하나의 AI 클러스터로 묶어 대형 모델을 여러 Mac과 다른 컴퓨터에서 로컬로 실행합니다.
라우팅된 전문가를 디스크에서 스트리밍해 일반 하드웨어에서 초대형 MoE 모델을 실행하는 순수 C 추론 엔진입니다.
소비자용 Metal, CUDA 및 ROCm 하드웨어에서 DeepSeek V4 Flash와 일부 대형 모델을 실행하기 위한 경량 네이티브 추론 엔진입니다.
SSD에서 전문가를 스트리밍해 Apple Silicon Mac에서 Gemma 4 26B-A4B를 실행하는 Swift·Metal 런타임