Repolode
Enviar
dphnAI

dphnAI/sonar

Um mecanismo de inferência de LLM para modelos compatíveis com Hugging Face, baseado em vLLM, com serviço compatível com OpenAI e implantação distribuída.

Ver no GitHubSite
Estrelas
1,904
Forks
213
Issues abertas
55
Último commit
há 3 dias

O que é?

Sonar é um mecanismo de inferência para servir modelos de linguagem e multimodais compatíveis com Hugging Face. Oferece batching contínuo, gerenciamento paginado de KV cache, kernels otimizados, quantização, decodificação especulativa e serving distribuído. O projeto é baseado em vLLM e adiciona outros formatos de modelo e quantização, métodos de amostragem, kernels, plataformas e recursos de implantação.

O comando `aphrodite serve` inicia um servidor HTTP na porta 2242 por padrão. Ele expõe APIs compatíveis com OpenAI, além de verificações de integridade, métricas no estilo Prometheus e um schema OpenAPI. O hardware compatível inclui NVIDIA CUDA, AMD ROCm, Intel XPU, CPU, Metal em Apple silicon e Google TPU, com instruções de instalação documentadas para cada plataforma.

O suporte varia conforme o modelo, o dispositivo, o tipo de dado e o método de quantização; por isso, consulte as matrizes de modelos e quantização geradas pelo projeto antes da implantação.

Recursos principais

  • 01Batching contínuo com gerenciamento paginado de KV cache e cache de prefixos
  • 02Paralelismo de tensores, pipeline, dados e especialistas, incluindo configurações multinó sem Ray
  • 03Decodificação especulativa com MTP, EAGLE, n-gram e outros métodos
  • 04Pesos quantizados e cache KV em FP8
  • 05Serving de adaptadores LoRA e suporte a modelos de imagem, áudio e vídeo
  • 06APIs compatíveis com OpenAI e Anthropic, com saída estruturada e chamadas de ferramentas

Casos de uso

  • Servir LLMs de pesos abertos em produção por trás de uma API compatível com OpenAI
  • Executar modelos quantizados com memória de GPU limitada
  • Implantar inferência com paralelismo em várias GPUs ou vários nós
  • Hospedar variantes de um modelo base ajustadas com fine-tuning de LoRA

Início rápido

  1. 1

    Execute o script oficial de instalação indicado no README

  2. 2

    Sirva um modelo com o servidor compatível com a OpenAI

    aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

Antes de usar

  • É licenciado sob a AGPL-3.0, uma licença copyleft que exige o compartilhamento do código-fonte de serviços de rede derivados.
  • O suporte varia conforme o modelo, o dispositivo, o tipo de dados e o método de quantização; consulte as matrizes de modelos e quantização antes da implantação.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm-inference#inference-engine#openai-compatible#quantization#speculative-decoding#lora#gpu#distributed-inference#api-rest#cuda

Perguntas frequentes

O que é sonar?
Um mecanismo de inferência de LLM para modelos compatíveis com Hugging Face, baseado em vLLM, com serviço compatível com OpenAI e implantação distribuída. Sonar é um mecanismo de inferência para servir modelos de linguagem e multimodais compatíveis com Hugging Face. Oferece batching contínuo, gerenciamento paginado de KV cache, kernels otimizados, quantização, decodificação especulativa e serving distribuído. O projeto é baseado em vLLM e adiciona outros formatos de modelo e quantização, métodos de amostragem, kernels, plataformas e recursos de implantação.
sonar é gratuito? Qual é a licença?
sonar é open source sob a licença AGPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
sonar ainda é mantido?
Manutenção ativa. O último commit de sonar foi em 3 de nov. de 2026.
Para que posso usar sonar?
Servir LLMs de pesos abertos em produção por trás de uma API compatível com OpenAI Executar modelos quantizados com memória de GPU limitada Implantar inferência com paralelismo em várias GPUs ou vários nós Hospedar variantes de um modelo base ajustadas com fine-tuning de LoRA
Como instalar sonar?
Execute o script oficial de instalação indicado no README Sirva um modelo com o servidor compatível com a OpenAI: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3
Onde consigo sonar?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/dphnAI/sonar

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados