Motor de inferencia en C++/CUDA que ejecuta los modelos Qwen3.8 y Qwen3.8-27B en una sola GPU NVIDIA RTX 5090; es un fork de NInfer.
275+33 esta semana38C++Apache-2.0Actualizado hace 13 horas
dphnAI/sonar
Un motor de inferencia LLM para modelos compatibles con Hugging Face, basado en vLLM, con servicio compatible con OpenAI y despliegue distribuido.
- Estrellas
- 1,904
- Forks
- 213
- Issues abiertos
- 55
- Último commit
- hace 3 días
¿Qué es?
Sonar es un motor de inferencia para servir modelos de lenguaje y multimodales compatibles con Hugging Face. Incluye batching continuo, gestión paginada de KV-cache, kernels optimizados, cuantización, decodificación especulativa y servicio distribuido. El proyecto se basa en vLLM y añade más formatos de modelos y cuantización, métodos de muestreo, kernels, plataformas y funciones de despliegue.
El comando `aphrodite serve` inicia un servidor HTTP en el puerto 2242 de forma predeterminada. Expone APIs compatibles con OpenAI, además de comprobaciones de estado, métricas al estilo de Prometheus y un esquema OpenAPI. El hardware compatible incluye NVIDIA CUDA, AMD ROCm, Intel XPU, CPU, Apple silicon Metal y Google TPU, con instrucciones de instalación documentadas para cada plataforma.
La compatibilidad varía según el modelo, el dispositivo, el tipo de datos y el método de cuantización, por lo que conviene consultar las matrices de modelos y cuantización generadas por el proyecto antes del despliegue.
Funciones clave
- 01Batching continuo con gestión paginada de KV-cache y caché de prefijos
- 02Paralelismo tensorial, de pipeline, de datos y de expertos, incluidos los despliegues multinodo sin Ray
- 03Decodificación especulativa con MTP, EAGLE, n-gramas y otros métodos
- 04Pesos cuantizados y caché KV FP8
- 05Servicio de adaptadores LoRA y compatibilidad con modelos de imagen, audio y video
- 06APIs compatibles con OpenAI y Anthropic, con salida estructurada y llamadas a herramientas
Casos de uso
- Servir LLMs de pesos abiertos en producción mediante una API compatible con OpenAI
- Ejecutar modelos cuantizados con memoria GPU limitada
- Desplegar inferencia en varias GPU o varios nodos mediante paralelismo
- Alojar variantes de un modelo base ajustadas con LoRA
Inicio rápido
- 1
Ejecuta el script oficial de instalación indicado en el README
- 2
Sirve un modelo con el servidor compatible con OpenAI
aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3
Antes de usarlo
- Se distribuye bajo la licencia AGPL-3.0, una licencia copyleft que exige compartir el código fuente de los servicios de red derivados.
- La compatibilidad varía según el modelo, el dispositivo, el tipo de datos y el método de cuantización; consulta las matrices de modelos y cuantización antes del despliegue.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es sonar?
- Un motor de inferencia LLM para modelos compatibles con Hugging Face, basado en vLLM, con servicio compatible con OpenAI y despliegue distribuido. Sonar es un motor de inferencia para servir modelos de lenguaje y multimodales compatibles con Hugging Face. Incluye batching continuo, gestión paginada de KV-cache, kernels optimizados, cuantización, decodificación especulativa y servicio distribuido. El proyecto se basa en vLLM y añade más formatos de modelos y cuantización, métodos de muestreo, kernels, plataformas y funciones de despliegue.
- ¿sonar es gratuito? ¿Qué licencia tiene?
- sonar es open source bajo la licencia AGPL-3.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿sonar sigue mantenido?
- Mantenimiento activo. El último commit de sonar fue el 3 nov 2026.
- ¿Para qué puedo usar sonar?
- Servir LLMs de pesos abiertos en producción mediante una API compatible con OpenAI Ejecutar modelos cuantizados con memoria GPU limitada Desplegar inferencia en varias GPU o varios nodos mediante paralelismo Alojar variantes de un modelo base ajustadas con LoRA
- ¿Cómo se instala sonar?
- Ejecuta el script oficial de instalación indicado en el README Sirve un modelo con el servidor compatible con OpenAI: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3
- ¿Dónde consigo sonar?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/dphnAI/sonar
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Motor de inferencia de LLM de alto rendimiento de Alibaba, utilizado en varias de sus unidades de negocio para servir modelos de lenguaje grandes.
1,4 mil+7 esta semana299PythonApache-2.0Actualizado hace 4 horas
Biblioteca y generador de kernels para inferencia de LLM, con APIs unificadas para operaciones de attention, GEMM, MoE y sampling.
6,9 mil+45 esta semana1,7 milCudaApache-2.0Actualizado hace 4 horas
Un motor de inferencia CUDA creado desde cero que ejecuta el modelo completo GLM 5.3 en entre tres y seis equipos DGX Spark (GB10) con una API compatible con OpenAI.
60+10 esta semana13CudaMITActualizado hace 5 horas
Gestor open source de clústeres de GPU que despliega modelos de IA con vLLM, SGLang y TensorRT-LLM, y ofrece instancias de GPU con acceso SSH bajo demanda.
6 mil+52 esta semana724PythonApache-2.0Actualizado hace 12 horas
Framework de inferencia offline de código abierto de DeepSeek para ejecutar DeepSeek-V4.1-Flash en hardware NVIDIA SM100 y Huawei Ascend 950.
25,5 mil+1,1 mil esta semana3,1 milPythonApache-2.0Actualizado hace 4 días