Motor de inferencia local que ejecuta el modelo de mezcla de expertos Qwen3.8-Flash-Next en GPU NVIDIA Blackwell y ofrece API compatibles con OpenAI y Anthropic.
Basalt es un motor de inferencia local diseñado para el modelo de mezcla de expertos Qwen3.8-Flash-Next. Está dirigido a equipos con Linux o Windows y una GPU NVIDIA Blackwell (compute capability 12.0), además de CUDA 13.
Los expertos que no caben en la VRAM se mantienen en la RAM del sistema, y se puede usar una segunda GPU como nivel adicional de expertos. Esto permite ejecutar un modelo MoE grande en una sola estación de trabajo. El servidor ofrece endpoints compatibles con OpenAI y Anthropic e incluye una interfaz web para ver las respuestas en streaming.
Los modelos se distribuyen en archivos `.basalt` únicos que agrupan los pesos, el tokenizer, el MTP drafter, el perfil de expertos y el proyector de visión. En Hugging Face se publican packs precompilados con varios formatos de cuantización, y la configuración se gestiona mediante un archivo JSON y la CLI `basalt`. La herramienta `basalt-probe` analiza el equipo y sugiere ajustes.
Clona el repositorio
git clone https://github.com/jesdga95/basalt && cd basaltCompila el proyecto con CMake
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -jInstala los requisitos de Python y descarga el modelo
pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir modelsInicia el servidor con tu archivo de configuración
bin/basalt serve --config basalt_config.jsonResumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Un motor de inferencia escrito íntegramente en C que ejecuta modelos MoE muy grandes en hardware convencional mediante la carga de expertos desde el disco según se necesitan.
Plataforma en Rust para ejecutar y servir LLM locales, con un servidor API compatible con OpenAI y una interfaz web integrada.
Un motor de inferencia LLM para modelos compatibles con Hugging Face, basado en vLLM, con servicio compatible con OpenAI y despliegue distribuido.
Motor de inferencia autoalojado que ejecuta grandes modelos MoE, como GLM-5.3-Flash, en tu propia GPU mediante API compatibles con OpenAI.
Un fork de llama.cpp optimizado para tarjetas NVIDIA RTX 30-series Ampere, sobre todo la RTX 3090, para ejecutar modelos Qwen3.8 localmente.
Motor local de inferencia de LLM escrito en Zig que sirve modelos en GPU Apple Silicon Metal y NVIDIA CUDA, sin Python ni MLX.