jesdga95/basalt

Что это?

Ключевые возможности

• 01Хранит экспертов, не поместившихся в память GPU, в системной RAM; при необходимости можно добавить уровень экспертов на втором GPU.
• 02Предоставляет локальный сервер с API, совместимыми с OpenAI и Anthropic.
• 03Включает веб-интерфейс с потоковым выводом ответов.
• 04Объединяет веса, токенизатор, драфтер и проектор изображений в одном файле .basalt.
• 05Предлагает несколько сборок квантованных моделей, включая NVFP4 и форматы на основе GGUF.
• 06Включает basalt-probe для оценки оборудования и подбора параметров конфигурации.

Сценарии использования

• Запуск крупной MoE-модели на одной рабочей станции с GPU NVIDIA Blackwell.
• Развёртывание локального эндпоинта, совместимого с OpenAI или Anthropic, для уже используемых клиентских инструментов.
• Изучение компромиссов между вариантами квантования Qwen3.8-Flash-Next.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/jesdga95/basalt && cd basalt
2. 2

   Соберите проект с помощью CMake

   cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j
3. 3

   Установите зависимости Python и скачайте модель

   pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models
4. 4

   Запустите сервер с файлом конфигурации

   bin/basalt serve --config basalt_config.json

Что важно знать

• !Требуется Linux или Windows с графическим процессором NVIDIA Blackwell (sm_120) и CUDA 13.
• !Нужно достаточно системной RAM, чтобы разместить экспертов, которые не помещаются в VRAM.
• !На пакеты моделей распространяется Qwen Community License, а не MIT.

В подборках

Темы

Частые вопросы

Что такое basalt?

Локальный движок инференса для запуска MoE-модели Qwen3.8-Flash-Next на GPU NVIDIA Blackwell с API, совместимыми с OpenAI и Anthropic. Basalt — локальный движок инференса, созданный для MoE-модели Qwen3.8-Flash-Next. Он предназначен для компьютеров под Linux и Windows с GPU NVIDIA Blackwell (compute capability 12.0) и CUDA 13.

basalt можно использовать бесплатно? Какая у него лицензия?

basalt распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

basalt всё ещё поддерживается?

Активно поддерживается. Последний коммит в basalt — 6 нояб. 2026 г..

Для чего можно использовать basalt?

Запуск крупной MoE-модели на одной рабочей станции с GPU NVIDIA Blackwell. Развёртывание локального эндпоинта, совместимого с OpenAI или Anthropic, для уже используемых клиентских инструментов. Изучение компромиссов между вариантами квантования Qwen3.8-Flash-Next.

Как установить basalt?

Клонируйте репозиторий: git clone https://github.com/jesdga95/basalt && cd basalt Соберите проект с помощью CMake: cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j Установите зависимости Python и скачайте модель: pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models Запустите сервер с файлом конфигурации: bin/basalt serve --config basalt_config.json

Где скачать basalt?

Исходный код и инструкции по установке — на GitHub: https://github.com/jesdga95/basalt