utilityai/llama-cpp-rs

これは何？

主な機能

• 01llama-cpp-2 crateを通じてllama.cppのRustバインディングを提供します。
• 02GGUFモデルファイルを読み込み、ローカルでテキストを生成します。
• 03高レベルのcrateに加えて、低レベルのllama-cpp-sys-2バインディングも含まれています。
• 04cargo feature flagによるCUDA GPUアクセラレーションに対応しています。
• 05上流のllama.cpp APIに近い設計で、変更にすばやく追従できます。

ユースケース

• 別途サーバーを用意せず、RustアプリケーションにローカルLLM推論を組み込む。
• Llama 2などの量子化GGUFモデルをローカルマシンで実行する。
• llama.cppの機能に直接アクセスする必要があるRustツールを開発する。

クイックスタート

1. 1

   サブモジュールも含めてリポジトリをクローンします

   git clone --recursive https://github.com/utilityai/llama-cpp-rs
2. 2

   プロジェクトディレクトリに移動します

   cd llama-cpp-rs
3. 3

   シンプルなサンプルを実行します（CUDA GPUをお持ちの場合は --features cuda を追加してください）

   cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

使う前に知っておきたいこと

• !このプロジェクトは llama.cpp に密接に追従するよう開発されているため、生のバインディングに近く、semver に沿ったバージョン管理は実質的に行っていません。
• !サンプルのビルドには、git サブモジュールのクローンと、正常に動作する Rust ツールチェーンが必要です。

収録されている特集

トピック

よくある質問

llama-cpp-rs とは？

llama-cpp-2 crateを通じて、RustプログラムからGGUF形式の言語モデルをローカルで読み込み、実行するためのllama.cppバインディングです。 llama-cpp-rsは、大規模言語モデルの実行に使われるC/C++ライブラリ、llama.cppのRustバインディングを提供します。crates.ioではllama-cpp-2 crateとして公開されており、低レベルのバインディングはllama-cpp-sys-2 crateに含まれています。

llama-cpp-rs は無料で使えますか？ライセンスは？

llama-cpp-rs は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llama-cpp-rs は今もメンテナンスされていますか？

活発にメンテナンス中。llama-cpp-rs の最終コミットは 2026年11月4日 です。

llama-cpp-rs は何に使えますか？

別途サーバーを用意せず、RustアプリケーションにローカルLLM推論を組み込む。 Llama 2などの量子化GGUFモデルをローカルマシンで実行する。 llama.cppの機能に直接アクセスする必要があるRustツールを開発する。

llama-cpp-rs のインストール方法は？

サブモジュールも含めてリポジトリをクローンします: git clone --recursive https://github.com/utilityai/llama-cpp-rs プロジェクトディレクトリに移動します: cd llama-cpp-rs シンプルなサンプルを実行します（CUDA GPUをお持ちの場合は --features cuda を追加してください）: cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

llama-cpp-rs はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/utilityai/llama-cpp-rs