SciSharp/LLamaSharp

これは何？

主な機能

• 01GGUFモデルファイルを読み込み、LLaMA系モデルをローカルで実行できます。
• 02CPU、CUDA、Metal、Vulkanのバックエンドを提供し、NuGet経由でインストールできます。
• 03C#アプリケーション向けに、チャットセッション、executor、samplingのAPIを提供します。
• 04RAGとマルチモーダルなLLaVAモデルに対応しています。
• 05Semantic Kernelやその他の.NET AIフレームワークと連携できます。

ユースケース

• .NETのデスクトップアプリケーションやWebアプリケーションに、オフラインで使えるチャットボットを追加する。
• データをクラウドAPIに送信せず、ローカルGPUでプライベートなLLMを実行する。
• ローカルモデルを使って、C#コードベースにRAG機能を構築する。
• .NET上でHugging FaceのGGUFモデルを試す。

クイックスタート

1. 1

   NuGet から LLamaSharp パッケージをインストールします

   PM> Install-Package LLamaSharp
2. 2

   お使いのデバイスに合ったバックエンドパッケージ（CPU、CUDA、Vulkan）を1つ以上インストールします

3. 3

   Hugging Face などから GGUF モデルファイルをダウンロードします

4. 4

   README のチャット例コードをプロジェクトに追加し、モデルのパスを設定します

使う前に知っておきたいこと

• !モデルは GGUF 形式である必要があります。また、古い GGUF ファイルは新しいバージョンで動作しない場合があります。
• !GPU アクセラレーションには、お使いの CUDA または Vulkan 環境に合ったバックエンドパッケージが必要です。サポート対象外のデバイスでは、バックエンドを自分でコンパイルする必要がある場合があります。

トピック

よくある質問

LLamaSharp とは？

llama.cppを基盤に、LLaMA系などのGGUF言語モデルをCPUまたはGPUでローカル実行できるC#/.NETライブラリ。 LLamaSharpは、LLaMAモデルなどをローカルで実行するためのクロスプラットフォーム対応.NETライブラリです。llama.cppのネイティブバックエンドをラップしており、C#や.NETアプリケーションからGGUFモデルファイルを読み込み、別途サーバーを用意せずに推論を実行できます。CPUとGPUの両方に対応しています。

LLamaSharp は無料で使えますか？ライセンスは？

LLamaSharp は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

LLamaSharp は今もメンテナンスされていますか？

活発にメンテナンス中。LLamaSharp の最終コミットは 2026年10月17日 です。

LLamaSharp は何に使えますか？

.NETのデスクトップアプリケーションやWebアプリケーションに、オフラインで使えるチャットボットを追加する。 データをクラウドAPIに送信せず、ローカルGPUでプライベートなLLMを実行する。 ローカルモデルを使って、C#コードベースにRAG機能を構築する。 .NET上でHugging FaceのGGUFモデルを試す。

LLamaSharp のインストール方法は？

NuGet から LLamaSharp パッケージをインストールします: PM> Install-Package LLamaSharp お使いのデバイスに合ったバックエンドパッケージ（CPU、CUDA、Vulkan）を1つ以上インストールします Hugging Face などから GGUF モデルファイルをダウンロードします README のチャット例コードをプロジェクトに追加し、モデルのパスを設定します

LLamaSharp はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/SciSharp/LLamaSharp