jesdga95/basalt

这是什么？

核心功能

• 01将放不进显存的专家层放在系统内存中，并可选用第二块显卡作为专家层。
• 02本地服务同时兼容 OpenAI 与 Anthropic 接口。
• 03内置支持流式输出的网页界面。
• 04将权重、分词器、草稿模型和视觉投影器打包进单个 .basalt 文件。
• 05提供多种量化模型包，包括 NVFP4 格式。
• 06附带 basalt-probe 工具，用于检测硬件并推荐配置参数。

适用场景

• 在单台 NVIDIA Blackwell 工作站上运行大型 MoE 模型。
• 为已有的 OpenAI 或 Anthropic 兼容客户端提供本地接口。
• 比较 Qwen3.8-Flash-Next 不同量化格式的效果与取舍。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/jesdga95/basalt && cd basalt
2. 2

   使用 CMake 构建项目

   cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j
3. 3

   安装 Python 依赖并下载模型

   pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models
4. 4

   使用配置文件启动服务器

   bin/basalt serve --config basalt_config.json

使用前须知

• !需要配备 NVIDIA Blackwell GPU（sm_120）和 CUDA 13 的 Linux 或 Windows 系统。
• !需要足够的系统内存来存放无法放入显存的专家网络。
• !模型包采用 Qwen 社区许可证 1.0，而非 MIT 许可证。

收录于专题

标签

常见问题

basalt 是什么？

在 NVIDIA Blackwell 显卡上本地运行 Qwen3.8-Flash-Next 混合专家模型的推理引擎，提供兼容 OpenAI 与 Anthropic 的 API。 Basalt 是一个专为 Qwen3.8-Flash-Next 混合专家（MoE）模型打造的本地推理引擎，面向配备 NVIDIA Blackwell 显卡（计算能力 12.0，CUDA 13）的 Linux 和 Windows 机器。

basalt 可以免费使用吗？用的什么许可证？

basalt 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

basalt 还在维护吗？

活跃维护中。basalt 最近一次提交是在 2026年11月6日。

basalt 适合用来做什么？

在单台 NVIDIA Blackwell 工作站上运行大型 MoE 模型。 为已有的 OpenAI 或 Anthropic 兼容客户端提供本地接口。 比较 Qwen3.8-Flash-Next 不同量化格式的效果与取舍。

basalt 怎么安装和运行？

克隆仓库: git clone https://github.com/jesdga95/basalt && cd basalt 使用 CMake 构建项目: cmake -S . -B build -DCMAKE_BUILD_TYPE=Release && cmake --build build -j 安装 Python 依赖并下载模型: pip install -r requirements.txt && hf download jesdga/Qwen3.8-Flash-Next-Basalt Qwen3.8-FN-NVFP4.basalt --local-dir models 使用配置文件启动服务器: bin/basalt serve --config basalt_config.json

在哪里获取 basalt？

源代码和安装说明在 GitHub 上：https://github.com/jesdga95/basalt