ggml-org/llama.cpp

これは何？

主な機能

• 01外部依存のない純粋なC/C++実装
• 02Apple Metal、x86 AVX/AMX、CUDA、HIP、Vulkan、SYCLなどによるハードウェアアクセラレーション
• 03メモリ使用量を抑える1.5ビットから8ビットまでの整数量子化
• 04利用可能なVRAMを超えるサイズのモデルに対応するCPUとGPUのハイブリッド推論
• 05Web UIを内蔵したOpenAI互換APIサーバー

ユースケース

• クラウドサービスを使わず、ノートPCやデスクトップでオープンウェイトLLMをローカル実行する
• すでに同APIを利用しているアプリケーション向けに、ローカルのOpenAI互換エンドポイントを提供する
• メモリに制約のあるハードウェアやエッジデバイスで量子化モデルを実行する
• Appleシリコン、Vulkan対応GPU、Ascend NPUなど、特定のアクセラレーターでの推論を試す

クイックスタート

1. 1

   READMEに記載されている公式インストールスクリプトを実行する

2. 2

   リリースページからビルド済みバイナリをダウンロードする

3. 3

   Hugging Faceからモデルを直接ダウンロードして実行する

   llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
4. 4

   OpenAI互換のAPIサーバーを起動する

   llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

使う前に知っておきたいこと

• !CUDA、Metal、SYCLなどのバックエンドは、特定のハードウェアでのみ利用できます。
• !OpenVINOバックエンドは、まだ開発中とされています。

トピック

よくある質問

llama.cpp とは？

幅広いハードウェアバックエンドに対応し、LLMや視覚言語モデルをローカルまたはクラウドで実行する、純粋なC/C++製の推論エンジン。 llama.cppは、大規模言語モデル（LLM）と視覚言語モデル（VLM）向けの推論エンジンです。外部依存なしの純粋なC/C++で実装されています。個人のマシンでもクラウドでも、幅広いハードウェア上でモデル推論を簡単にセットアップし、高速に実行できることを目指しています。ggmlテンソルライブラリを基盤としています。

llama.cpp は無料で使えますか？ライセンスは？

llama.cpp は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llama.cpp は今もメンテナンスされていますか？

活発にメンテナンス中。llama.cpp の最終コミットは 2026年10月20日 です。

llama.cpp は何に使えますか？

クラウドサービスを使わず、ノートPCやデスクトップでオープンウェイトLLMをローカル実行する すでに同APIを利用しているアプリケーション向けに、ローカルのOpenAI互換エンドポイントを提供する メモリに制約のあるハードウェアやエッジデバイスで量子化モデルを実行する Appleシリコン、Vulkan対応GPU、Ascend NPUなど、特定のアクセラレーターでの推論を試す

llama.cpp のインストール方法は？

READMEに記載されている公式インストールスクリプトを実行する リリースページからビルド済みバイナリをダウンロードする Hugging Faceからモデルを直接ダウンロードして実行する: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF OpenAI互換のAPIサーバーを起動する: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

llama.cpp はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ggml-org/llama.cpp