dphnAI/sonar

これは何？

主な機能

• 01ページ分割KVキャッシュ管理とプレフィックスキャッシュに対応したContinuous batching
• 02Rayを使わないマルチノード構成を含む、テンソル並列、パイプライン並列、データ並列、エキスパート並列
• 03MTP、EAGLE、n-gramなどの手法による投機的デコーディング
• 04量子化済み重みとFP8 KVキャッシュ
• 05LoRAアダプターのサービングと、画像・音声・動画モデルへの対応
• 06構造化出力とツール呼び出しに対応した、OpenAIおよびAnthropic互換API

ユースケース

• 本番環境でOpenAI互換APIの背後にオープンウェイトLLMを配置してサービングする
• GPUメモリが限られた環境で量子化モデルを実行する
• 並列処理を活用してマルチGPUまたはマルチノード推論をデプロイする
• ベースモデルをLoRAでファインチューニングした派生モデルをホストする

クイックスタート

1. 1

   README に記載されている公式インストールスクリプトを実行します

2. 2

   OpenAI 互換サーバーでモデルをサーブします

   aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

使う前に知っておきたいこと

• !AGPL-3.0 ライセンス（コピーレフト型）で提供されています。ネットワーク経由で利用できる派生サービスには、ソースコードの共有が求められます。
• !サポート状況はモデル、デバイス、データ型、量子化方式によって異なるため、デプロイ前にモデルと量子化の対応表を確認してください。

収録されている特集

トピック

よくある質問

sonar とは？

vLLMを基盤とし、OpenAI互換のサービングと分散デプロイに対応する、Hugging Face互換モデル向けLLM推論エンジンです。 Sonarは、Hugging Face互換の言語モデルやマルチモーダルモデルをサービングするための推論エンジンです。Continuous batching、ページ分割KVキャッシュ管理、最適化カーネル、量子化、投機的デコーディング、分散サービングに対応します。vLLMを基盤とし、対応するモデル形式や量子化形式、サンプリング方式、カーネル、プラットフォーム、デプロイ機能をさらに追加しています。

sonar は無料で使えますか？ライセンスは？

sonar は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

sonar は今もメンテナンスされていますか？

活発にメンテナンス中。sonar の最終コミットは 2026年11月3日 です。

sonar は何に使えますか？

本番環境でOpenAI互換APIの背後にオープンウェイトLLMを配置してサービングする GPUメモリが限られた環境で量子化モデルを実行する 並列処理を活用してマルチGPUまたはマルチノード推論をデプロイする ベースモデルをLoRAでファインチューニングした派生モデルをホストする

sonar のインストール方法は？

README に記載されている公式インストールスクリプトを実行します OpenAI 互換サーバーでモデルをサーブします: aphrodite serve Qwen/Qwen3-0.6B --served-model-name qwen3

sonar はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/dphnAI/sonar