midagedev/bloomery

어떤 프로젝트인가요?

핵심 기능

• 01GPU 메모리보다 큰 MoE 모델을 실행할 수 있도록 전문가를 GPU, 호스트 RAM, NVMe에 나눠 배치합니다.
• 02OpenAI 및 Anthropic 경로를 지원하는 llama-server 호환 HTTP API를 제공합니다.
• 03GGUF 파일과 llama의 배치 플래그를 지원해 기존 클라이언트를 수정 없이 사용할 수 있습니다.
• 04저장된 프롬프트 상태를 호스트 RAM에 보관해 같은 접두사를 공유하는 요청에서 재사용합니다.
• 05여러 동시 슬롯과 초안이 제공되는 경우의 speculative decoding을 지원합니다.
• 06Apple Silicon Mac용 Metal 백엔드를 포함합니다.

활용 사례

• 24 GB GPU 한 장을 갖춘 단일 워크스테이션에서 Qwen3-30B-A3B 또는 GLM 같은 대형 MoE 모델을 실행합니다.
• 코딩 에이전트용으로 NVIDIA DGX Spark 또는 RTX 5090에서 로컬 모델을 서빙합니다.
• 기존 클라이언트 인터페이스를 유지하면서 llama-server 배포를 Rust 기반 서버로 교체합니다.
• Metal GPU가 탑재된 Apple Silicon Mac에서 MoE 모델을 실행합니다.

빠른 시작

1. 1

   README의 공식 설치 스크립트를 실행합니다

2. 2

   Hugging Face 모델을 사용해 서버를 시작합니다

   ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M
3. 3

   서버에 테스트 채팅 요청을 보냅니다

   curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

사용 전 알아둘 점

• !Compute Capability 8.6 이상의 NVIDIA GPU 또는 macOS 26.2 이상의 Apple Silicon이 필요합니다.
• !Apple Silicon 지원은 특정 아키텍처로 제한되며 대부분 검증되지 않았습니다. 슬롯은 하나만 사용할 수 있고 텍스트만 지원합니다.
• !Linux x86-64에서는 R580 이상의 NVIDIA 드라이버가 필요하며, Windows에서는 WSL2를 통해서만 실행됩니다.
• !아직 초기 단계의 프로젝트로, 별은 57개이며 버전은 0.3.x입니다.

포함된 컬렉션

토픽

자주 묻는 질문

bloomery은(는) 무엇인가요?

GPU 메모리보다 큰 MoE 모델을 NVIDIA GPU와 Apple Silicon에서 실행하는 Rust 기반 LLM 추론 서버로, llama-server 호환 HTTP API를 제공합니다. bloomery는 라우팅된 전문가를 GPU 메모리, 호스트 RAM, 필요에 따라 NVMe 스토리지에 나눠 배치해 대형 MoE 언어 모델을 단일 머신에서 서빙합니다. 엔진은 디코더가 자주 호출하는 전문가를 추적하고 실행 중에 해당 전문가를 GPU로 옮깁니다. DGX Spark(GB10)를 포함한 NVIDIA GPU와 Metal 백엔드를 통한 Apple Silicon을 지원합니다.

bloomery은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

bloomery은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

bloomery은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. bloomery의 마지막 커밋은 2026년 11월 6일입니다.

bloomery은(는) 어디에 사용할 수 있나요?

24 GB GPU 한 장을 갖춘 단일 워크스테이션에서 Qwen3-30B-A3B 또는 GLM 같은 대형 MoE 모델을 실행합니다. 코딩 에이전트용으로 NVIDIA DGX Spark 또는 RTX 5090에서 로컬 모델을 서빙합니다. 기존 클라이언트 인터페이스를 유지하면서 llama-server 배포를 Rust 기반 서버로 교체합니다. Metal GPU가 탑재된 Apple Silicon Mac에서 MoE 모델을 실행합니다.

bloomery는 어떻게 설치하나요?

README의 공식 설치 스크립트를 실행합니다 Hugging Face 모델을 사용해 서버를 시작합니다: ~/.local/bin/bloomery-serve --hf unsloth/Qwen3-30B-A3B-Instruct-2507-GGUF:Q4_K_M 서버에 테스트 채팅 요청을 보냅니다: curl -s http://127.0.0.1:8080/v1/chat/completions -d '{"messages": [{"role": "user", "content": "Hello"}], "max_tokens": 64}'

bloomery은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/midagedev/bloomery