Repolode
Enviar
huggingface

huggingface/candle

Framework minimalista de ML para Rust com suporte a GPU, desenvolvido para inferência rápida e leve e implantação sem Python.

Alternativa open source a:PyTorch

Ver no GitHub
Estrelas
21,282
Forks
1,854
Issues abertas
964
Último commit
há 5 dias

O que é?

Candle é um framework de machine learning escrito em Rust, com uma API semelhante à do PyTorch. Ele oferece tensores, dispositivos e operações comuns, além de um backend de CPU otimizado (com MKL opcional em x86 e Accelerate no macOS), um backend CUDA com distribuição entre várias GPUs via NCCL e suporte a WASM para executar modelos no navegador.

O projeto busca tornar prática a inferência serverless: em vez de incluir toda a stack de ML do Python, gera binários pequenos, permitindo remover o Python das cargas de trabalho em produção. Ele carrega modelos de arquivos safetensors, npz, ggml e PyTorch e oferece suporte à quantização usando os tipos quantizados do llama.cpp.

O repositório inclui um catálogo de modelos que abrange grandes modelos de linguagem como LLaMA, Mistral, Mixtral, Qwen e Gemma, além de Stable Diffusion, Whisper, YOLO, SAM e CLIP, com exemplos de linha de comando para cada um.

Recursos principais

  • 01API semelhante à do PyTorch para tensores, operações e código de modelos em Rust.
  • 02Backend de CPU com MKL opcional (x86) e Accelerate (macOS), além de um backend CUDA.
  • 03Distribuição entre várias GPUs via NCCL.
  • 04Suporte a WASM para executar modelos no navegador.
  • 05Carrega arquivos de modelos safetensors, npz, ggml e PyTorch.
  • 06Quantização usando os tipos quantizados do llama.cpp.

Casos de uso

  • Implantar inferência de modelos como binários serverless pequenos, sem runtime do Python.
  • Executar LLMs, reconhecimento de fala ou modelos de imagem em serviços Rust.
  • Executar modelos no lado do cliente, no navegador, via WASM.
  • Portar modelos PyTorch para uma base de código Rust.

Início rápido

  1. 1

    Adicione candle-core ao seu projeto Rust e execute o exemplo de multiplicação de matrizes

    cargo run
  2. 2

    Ative o suporte a CUDA alterando o dispositivo para GPU no seu código

  3. 3

    Execute um exemplo de linha de comando com o CUDA ativado

    cargo run --example quantized --release

Antes de usar

  • É necessário ter uma toolchain Rust e, para usar a GPU, configurar o CUDA separadamente.
  • Muitos exemplos de modelos exigem o download separado dos arquivos de pesos do modelo.

Tópicos

#machine-learning#rust#inference#deep-learning#cuda#wasm#llm#quantization

Perguntas frequentes

O que é candle?
Framework minimalista de ML para Rust com suporte a GPU, desenvolvido para inferência rápida e leve e implantação sem Python. Candle é um framework de machine learning escrito em Rust, com uma API semelhante à do PyTorch. Ele oferece tensores, dispositivos e operações comuns, além de um backend de CPU otimizado (com MKL opcional em x86 e Accelerate no macOS), um backend CUDA com distribuição entre várias GPUs via NCCL e suporte a WASM para executar modelos no navegador.
candle é gratuito? Qual é a licença?
candle é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
candle ainda é mantido?
Manutenção ativa. O último commit de candle foi em 2 de nov. de 2026.
Para que posso usar candle?
Implantar inferência de modelos como binários serverless pequenos, sem runtime do Python. Executar LLMs, reconhecimento de fala ou modelos de imagem em serviços Rust. Executar modelos no lado do cliente, no navegador, via WASM. Portar modelos PyTorch para uma base de código Rust.
Como instalar candle?
Adicione candle-core ao seu projeto Rust e execute o exemplo de multiplicação de matrizes: cargo run Ative o suporte a CUDA alterando o dispositivo para GPU no seu código Execute um exemplo de linha de comando com o CUDA ativado: cargo run --example quantized --release
Onde consigo candle?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/candle

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados