dphnAI/sonar

Что это?

Ключевые возможности

• 01Непрерывная пакетная обработка с управлением paged KV-cache и кэшированием префиксов
• 02Параллелизм по тензорам, конвейерам, данным и экспертам, в том числе в многонодовых конфигурациях без Ray
• 03Спекулятивное декодирование с MTP, EAGLE, n-gram и другими методами
• 04Квантованные веса и FP8 KV cache
• 05Обслуживание адаптеров LoRA и поддержка моделей для изображений, аудио и видео
• 06Совместимые с OpenAI и Anthropic API со структурированным выводом и вызовом инструментов

Сценарии использования

• Запуск LLM с открытыми весами в production через OpenAI-совместимый API
• Запуск квантованных моделей при ограниченном объёме видеопамяти
• Развертывание инференса на нескольких GPU или узлах с использованием параллелизма
• Размещение вариантов базовой модели, дообученных с помощью LoRA

Быстрый старт

1. 1

   Запустите официальный скрипт установки из README

2. 2

   Запустите модель с помощью сервера, совместимого с OpenAI

   aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

Что важно знать

• !Проект распространяется по лицензии AGPL-3.0 — лицензии с авторским левом, требующей предоставлять исходный код производных сетевых сервисов.
• !Поддержка зависит от модели, устройства, типа данных и метода квантования, поэтому перед развертыванием проверьте матрицы совместимости моделей и методов квантования.

В подборках

Темы

Частые вопросы

Что такое sonar?

Движок инференса LLM для моделей, совместимых с Hugging Face: построен на vLLM, поддерживает OpenAI-совместимый API и распределённое развертывание. Sonar — движок инференса для запуска языковых и мультимодальных моделей, совместимых с Hugging Face. Он поддерживает непрерывную пакетную обработку, управление paged KV-cache, оптимизированные ядра, квантование, спекулятивное декодирование и распределённую обработку запросов. Проект основан на vLLM и дополняет его новыми форматами моделей и квантования, методами семплирования, ядрами, платформами и возможностями развертывания.

sonar можно использовать бесплатно? Какая у него лицензия?

sonar распространяется с открытым исходным кодом под лицензией AGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

sonar всё ещё поддерживается?

Активно поддерживается. Последний коммит в sonar — 3 нояб. 2026 г..

Для чего можно использовать sonar?

Запуск LLM с открытыми весами в production через OpenAI-совместимый API Запуск квантованных моделей при ограниченном объёме видеопамяти Развертывание инференса на нескольких GPU или узлах с использованием параллелизма Размещение вариантов базовой модели, дообученных с помощью LoRA

Как установить sonar?

Запустите официальный скрипт установки из README Запустите модель с помощью сервера, совместимого с OpenAI: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

Где скачать sonar?

Исходный код и инструкции по установке — на GitHub: https://github.com/dphnAI/sonar