EricLBuehler/mistral.rs

これは何？

主な機能

• 01単一プロセスからOpenAI互換APIとAnthropic互換APIを提供します。
• 02Hugging FaceモデルとGGUFファイルを読み込み、アーキテクチャとテンプレートを自動検出します。
• 03実行時量子化と、GGUF、GPTQ、AWQ、FP8などの形式に対応します。
• 04CUDAおよびApple Siliconでの連続バッチ処理にPagedAttentionとプレフィックスキャッシュを活用します。
• 05LoRAおよびX-LoRAアダプターと、マルチGPU推論に対応します。
• 06ツール呼び出し、Pythonおよびシェルの実行、Web検索、MCPクライアント連携を提供します。

ユースケース

• オープンウェイトモデルをローカルで実行し、OpenAIまたはAnthropic互換のエンドポイントとして公開する。
• 別途サーバーを起動せずに、RustまたはPythonアプリケーションへLLM推論を組み込む。
• GPUメモリが限られた環境やApple Siliconで、量子化モデルをサービングする。
• ツール呼び出しを使い、コードやシェルコマンドを実行したりWeb検索したりするエージェントを構築する。

クイックスタート

1. 1

   READMEから、お使いのプラットフォーム向けの公式インストールスクリプトを実行します

2. 2

   モデルとそのサーバーを起動します

   mistralrs serve -m Qwen/Qwen3-4B --quant 4
3. 3

   ブラウザーでWeb UIを開き、メッセージを送信します

使う前に知っておきたいこと

• !インストールには、標準的なパッケージマネージャーではなく、リモートのインストールスクリプトを使用します。
• !アクセラレーター別のビルド（CUDA、Metal、MKL、Accelerate）は、Getting Startedガイドに従って個別にセットアップする必要があります。

トピック

よくある質問

mistral.rs とは？

OpenAIおよびAnthropic互換APIを提供するRust製LLM推論エンジン。量子化、マルチモーダルモデル、エージェント向けツールに対応。 mistral.rsはRustで書かれたLLM推論エンジンです。Hugging FaceモデルやGGUFファイルを読み込み、アーキテクチャとチャットテンプレートを自動検出して、CUDA、Metal、CPUで実行します。単一の`mistralrs serve`プロセスで、OpenAI互換の`/v1`エンドポイントとAnthropic互換のMessagesエンドポイントを公開し、組み込みWeb UI（`/ui`）も利用できます。

mistral.rs は無料で使えますか？ライセンスは？

mistral.rs は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

mistral.rs は今もメンテナンスされていますか？

活発にメンテナンス中。mistral.rs の最終コミットは 2026年10月20日 です。

mistral.rs は何に使えますか？

オープンウェイトモデルをローカルで実行し、OpenAIまたはAnthropic互換のエンドポイントとして公開する。 別途サーバーを起動せずに、RustまたはPythonアプリケーションへLLM推論を組み込む。 GPUメモリが限られた環境やApple Siliconで、量子化モデルをサービングする。 ツール呼び出しを使い、コードやシェルコマンドを実行したりWeb検索したりするエージェントを構築する。

mistral.rs のインストール方法は？

READMEから、お使いのプラットフォーム向けの公式インストールスクリプトを実行します モデルとそのサーバーを起動します: mistralrs serve -m Qwen/Qwen3-4B --quant 4 ブラウザーでWeb UIを開き、メッセージを送信します

mistral.rs はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/EricLBuehler/mistral.rs