jesdga95/basalt

어떤 프로젝트인가요?

핵심 기능

• 01초과된 전문가를 시스템 RAM에 보관하며, 선택적으로 두 번째 GPU를 전문가 계층으로 사용할 수 있습니다.
• 02로컬 서버에서 OpenAI 및 Anthropic 호환 API를 제공합니다.
• 03응답 스트리밍 기능이 있는 웹 UI를 포함합니다.
• 04가중치, tokenizer, drafter, vision projector를 하나의 `.basalt` 파일에 패키징합니다.
• 05NVFP4 및 GGUF 파생 형식을 포함해 여러 양자화 모델 팩을 제공합니다.
• 06하드웨어를 측정하고 설정값을 제안하는 `basalt-probe`를 제공합니다.

활용 사례

• 단일 NVIDIA Blackwell 워크스테이션에서 대형 MoE 모델을 실행할 때.
• 기존 클라이언트 도구에서 사용할 로컬 OpenAI 또는 Anthropic 호환 엔드포인트를 제공할 때.
• Qwen3.8-Flash-Next의 양자화에 따른 절충점을 실험할 때.

빠른 시작

1. 1

   리포지토리를 클론합니다

   git clone https://github.com/jesdga95/basalt && cd basalt
2. 2

   CMake로 프로젝트를 빌드합니다

   cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j
3. 3

   Python 요구 사항을 설치하고 모델을 다운로드합니다

   pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models
4. 4

   구성 파일을 지정해 서버를 시작합니다

   bin/basalt serve --config basalt_config.json

사용 전 알아둘 점

• !Linux 또는 NVIDIA Blackwell GPU(sm_120)와 CUDA 13을 갖춘 Windows가 필요합니다.
• !VRAM에 들어가지 않는 전문가를 저장할 만큼 충분한 시스템 RAM이 필요합니다.
• !모델 팩은 MIT가 아니라 Qwen Community License에 따라 제공됩니다.

포함된 컬렉션

토픽

자주 묻는 질문

basalt은(는) 무엇인가요?

OpenAI 및 Anthropic 호환 API로 제공되는, NVIDIA Blackwell GPU에서 Qwen3.8-Flash-Next MoE 모델을 실행하는 로컬 추론 엔진입니다. Basalt는 Qwen3.8-Flash-Next MoE 모델용으로 제작된 로컬 추론 엔진입니다. compute capability 12.0을 지원하는 NVIDIA Blackwell GPU와 CUDA 13을 갖춘 Linux 및 Windows 머신을 대상으로 합니다.

basalt은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

basalt은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

basalt은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. basalt의 마지막 커밋은 2026년 11월 6일입니다.

basalt은(는) 어디에 사용할 수 있나요?

단일 NVIDIA Blackwell 워크스테이션에서 대형 MoE 모델을 실행할 때. 기존 클라이언트 도구에서 사용할 로컬 OpenAI 또는 Anthropic 호환 엔드포인트를 제공할 때. Qwen3.8-Flash-Next의 양자화에 따른 절충점을 실험할 때.

basalt는 어떻게 설치하나요?

리포지토리를 클론합니다: git clone https://github.com/jesdga95/basalt && cd basalt CMake로 프로젝트를 빌드합니다: cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j Python 요구 사항을 설치하고 모델을 다운로드합니다: pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models 구성 파일을 지정해 서버를 시작합니다: bin/basalt serve --config basalt_config.json

basalt은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jesdga95/basalt