Repolode
Enviar
jesdga95

jesdga95/basalt

Um mecanismo de inferência local que executa o modelo mixture-of-experts Qwen3.8-Flash-Next em GPUs NVIDIA Blackwell, com APIs compatíveis com OpenAI e Anthropic.

Ver no GitHub
Estrelas
750
Forks
98
Issues abertas
71
Último commit
há 5 horas

O que é?

Basalt é um mecanismo de inferência local desenvolvido para o modelo mixture-of-experts Qwen3.8-Flash-Next. Ele é voltado a máquinas Linux e Windows com uma GPU NVIDIA Blackwell (compute capability 12.0) e CUDA 13.

Os experts que não cabem na VRAM ficam na RAM do sistema, e uma segunda GPU pode opcionalmente atuar como uma camada adicional de experts. Isso permite executar um modelo MoE grande em uma única workstation. O servidor disponibiliza endpoints compatíveis com OpenAI e Anthropic e inclui uma interface web para respostas em streaming.

Os modelos são distribuídos como arquivos `.basalt` únicos, que reúnem pesos, tokenizer, MTP drafter, perfil de experts e projetor de visão. Pacotes pré-compilados em vários formatos de quantização são publicados no Hugging Face, e a configuração é feita por meio de um arquivo JSON e da CLI `basalt`. A ferramenta `basalt-probe` mede a máquina e sugere configurações.

Recursos principais

  • 01Mantém na RAM do sistema os experts que excedem a VRAM, com a opção de usar uma segunda GPU como camada adicional de experts.
  • 02Disponibiliza APIs compatíveis com OpenAI e Anthropic em um servidor local.
  • 03Inclui uma interface web com respostas em streaming.
  • 04Reúne pesos, tokenizer, drafter e projetor de visão em um único arquivo .basalt.
  • 05Oferece vários pacotes de modelos quantizados, incluindo formatos NVFP4 e derivados de GGUF.
  • 06Disponibiliza o basalt-probe para medir o hardware e sugerir valores de configuração.

Casos de uso

  • Executar um modelo MoE grande em uma única workstation com NVIDIA Blackwell.
  • Disponibilizar um endpoint local compatível com OpenAI ou Anthropic para ferramentas cliente existentes.
  • Experimentar as compensações entre diferentes níveis de quantização do Qwen3.8-Flash-Next.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/jesdga95/basalt && cd basalt
  2. 2

    Compile o projeto com CMake

    cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j
  3. 3

    Instale os requisitos do Python e baixe o modelo

    pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models
  4. 4

    Inicie o servidor com seu arquivo de configuração

    bin/basalt serve --config basalt_config.json

Antes de usar

  • Requer Linux ou Windows com uma GPU NVIDIA Blackwell (sm_120) e CUDA 13.
  • Precisa de RAM do sistema suficiente para armazenar os especialistas que não cabem na VRAM.
  • Os pacotes do modelo estão sob a Qwen Community License, não sob a licença MIT.

Em coleções

Rode LLMs localmente

Tópicos

#llm-inference#mixture-of-experts#local-llm#cuda#nvidia-gpu#openai-compatible#quantization

Perguntas frequentes

O que é basalt?
Um mecanismo de inferência local que executa o modelo mixture-of-experts Qwen3.8-Flash-Next em GPUs NVIDIA Blackwell, com APIs compatíveis com OpenAI e Anthropic. Basalt é um mecanismo de inferência local desenvolvido para o modelo mixture-of-experts Qwen3.8-Flash-Next. Ele é voltado a máquinas Linux e Windows com uma GPU NVIDIA Blackwell (compute capability 12.0) e CUDA 13.
basalt é gratuito? Qual é a licença?
basalt é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
basalt ainda é mantido?
Manutenção ativa. O último commit de basalt foi em 7 de nov. de 2026.
Para que posso usar basalt?
Executar um modelo MoE grande em uma única workstation com NVIDIA Blackwell. Disponibilizar um endpoint local compatível com OpenAI ou Anthropic para ferramentas cliente existentes. Experimentar as compensações entre diferentes níveis de quantização do Qwen3.8-Flash-Next.
Como instalar basalt?
Clone o repositório: git clone https://github.com/jesdga95/basalt && cd basalt Compile o projeto com CMake: cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j Instale os requisitos do Python e baixe o modelo: pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models Inicie o servidor com seu arquivo de configuração: bin/basalt serve --config basalt_config.json
Onde consigo basalt?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/jesdga95/basalt

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados