“blackwell” 相关开源项目

SGLang 是一个开源推理框架，用于在多种 GPU、TPU、CPU 等硬件上部署大语言模型、视觉语言模型和扩散模型。

一个高吞吐、低显存占用的大语言模型推理与服务引擎，提供兼容 OpenAI 的 API。