huggingface/candle

これは何？

主な機能

• 01Rustでテンソル、演算、モデルコードを記述できるPyTorch風のAPI。
• 02MKL（x86）とAccelerate（macOS）をオプションで利用できるCPUバックエンドと、CUDAバックエンド。
• 03NCCLによるマルチGPU分散。
• 04ブラウザーでモデルを実行するためのWASMサポート。
• 05safetensors、npz、ggml、PyTorch形式のモデルファイルを読み込み。
• 06llama.cppの量子化型を使った量子化。

ユースケース

• Pythonランタイムを使わず、小さなサーバーレスバイナリとしてモデル推論をデプロイする。
• Rust製サービス内でLLM、音声認識モデル、画像モデルを実行する。
• WASMを使ってブラウザー上でモデルを実行する。
• PyTorchモデルをRustのコードベースに移植する。

クイックスタート

1. 1

   Rustプロジェクトにcandle-coreを追加し、行列乗算の例を実行します

   cargo run
2. 2

   コード内でデバイスをGPUに切り替えて、CUDAサポートを有効にします

3. 3

   CUDAを有効にして、コマンドラインの例を実行します

   cargo run --example quantized --release

使う前に知っておきたいこと

• !Rustツールチェーンが必要です。GPUを使用する場合は、別途CUDAのセットアップも必要です。
• !多くのモデルの例では、モデルの重みファイルを別途ダウンロードする必要があります。

トピック

よくある質問

candle とは？

Pythonを使わずに軽量かつ高速な推論・デプロイを実現する、GPU対応のRust製ミニマルなMLフレームワーク。 Candleは、PyTorchに似たAPIを備えたRust製の機械学習フレームワークです。テンソル、デバイス、一般的な演算を提供し、最適化されたCPUバックエンド（x86ではMKL、macOSではAccelerateをオプションで利用可能）、NCCLによるマルチGPU分散に対応したCUDAバックエンド、ブラウザーでモデルを実行するためのWASMサポートを備えています。

candle は無料で使えますか？ライセンスは？

candle は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

candle は今もメンテナンスされていますか？

活発にメンテナンス中。candle の最終コミットは 2026年11月2日 です。

candle は何に使えますか？

Pythonランタイムを使わず、小さなサーバーレスバイナリとしてモデル推論をデプロイする。 Rust製サービス内でLLM、音声認識モデル、画像モデルを実行する。 WASMを使ってブラウザー上でモデルを実行する。 PyTorchモデルをRustのコードベースに移植する。

candle のインストール方法は？

Rustプロジェクトにcandle-coreを追加し、行列乗算の例を実行します: cargo run コード内でデバイスをGPUに切り替えて、CUDAサポートを有効にします CUDAを有効にして、コマンドラインの例を実行します: cargo run --example quantized --release

candle はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/huggingface/candle