Repolode
提交项目
dphnAI

dphnAI/sonar

基于 vLLM 构建的大模型推理引擎，兼容 Hugging Face 模型并提供 OpenAI 兼容接口。

在 GitHub 查看官网
Star
1,904
Fork
213
未关闭 Issue
55
最近提交
4天前

这是什么？

Sonar 是一个用于部署 Hugging Face 兼容语言模型和多模态模型的推理引擎，支持连续批处理、分页 KV 缓存管理、优化算子、量化、投机解码和分布式服务。项目基于 vLLM 开发，并增加了更多模型与量化格式、采样方法、算子、平台及部署功能。

执行 `aphrodite serve` 命令即可启动 HTTP 服务，默认监听 2242 端口，提供 OpenAI 兼容接口、健康检查、指标监控和 OpenAPI 规范。硬件方面支持 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU、Apple silicon Metal 以及 Google TPU。

不同模型、设备、数据类型和量化方式的支持程度有所差异，部署前建议先查看项目生成的模型与量化支持矩阵。

核心功能

  • 01连续批处理，配合分页 KV 缓存管理和前缀缓存
  • 02支持张量、流水线、数据和专家并行，可在无 Ray 集群的情况下多节点部署
  • 03投机解码，支持 MTP、EAGLE、n-gram 等方法
  • 04支持量化权重和 FP8 KV 缓存
  • 05支持 LoRA 适配器，以及图像、音频和视频模型
  • 06提供 OpenAI 与 Anthropic 兼容接口，支持结构化输出和工具调用

适用场景

  • 在生产环境中通过 OpenAI 兼容接口提供开源大模型服务
  • 在显存有限的 GPU 上运行量化模型
  • 利用并行策略部署多卡或多节点推理
  • 同时托管同一基础模型的多个 LoRA 微调版本

快速上手

  1. 1

    运行 README 中的官方安装脚本

  2. 2

    使用兼容 OpenAI 的服务器启动模型

    aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

使用前须知

  • 采用 AGPL-3.0 许可证，这是一种 copyleft 许可证，要求基于其的网络服务公开源代码。
  • 支持情况因模型、设备、数据类型和量化方法而异，部署前请查看模型和量化支持矩阵。

收录于专题

本地运行大模型GPU 加速的 AI 训练与推理工具

标签

#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding#lora#gpu#distributed-inference#api-rest#cuda

常见问题

sonar 是什么？
基于 vLLM 构建的大模型推理引擎，兼容 Hugging Face 模型并提供 OpenAI 兼容接口。 Sonar 是一个用于部署 Hugging Face 兼容语言模型和多模态模型的推理引擎，支持连续批处理、分页 KV 缓存管理、优化算子、量化、投机解码和分布式服务。项目基于 vLLM 开发，并增加了更多模型与量化格式、采样方法、算子、平台及部署功能。
sonar 可以免费使用吗？用的什么许可证？
sonar 以 AGPL-3.0 许可证开源。用于商业产品前，请先确认许可证条款。
sonar 还在维护吗？
活跃维护中。sonar 最近一次提交是在 2026年11月3日。
sonar 适合用来做什么？
在生产环境中通过 OpenAI 兼容接口提供开源大模型服务 在显存有限的 GPU 上运行量化模型 利用并行策略部署多卡或多节点推理 同时托管同一基础模型的多个 LoRA 微调版本
sonar 怎么安装和运行？
运行 README 中的官方安装脚本 使用兼容 OpenAI 的服务器启动模型: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3
在哪里获取 sonar？
源代码和安装说明在 GitHub 上：https://github.com/dphnAI/sonar

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目