Repolode
Enviar
huggingface

huggingface/candle

Framework minimalista de ML para Rust con soporte para GPU, diseñado para ofrecer inferencia y despliegue rápidos y ligeros sin Python.

Alternativa open source a:PyTorch

Ver en GitHub
Estrellas
21,282
Forks
1,854
Issues abiertos
964
Último commit
hace 5 días

¿Qué es?

Candle es un framework de machine learning escrito en Rust, con una API similar a la de PyTorch. Ofrece tensores, dispositivos y operaciones comunes, además de un backend de CPU optimizado (con MKL opcional en x86 y Accelerate en macOS), un backend de CUDA con distribución entre varias GPU mediante NCCL y compatibilidad con WASM para ejecutar modelos en el navegador.

El proyecto busca hacer práctica la inferencia serverless mediante la generación de binarios pequeños, en lugar de incorporar toda la pila de ML de Python, para poder prescindir de Python en producción. Carga modelos desde archivos safetensors, npz, ggml y PyTorch, y admite cuantización mediante los tipos cuantizados de llama.cpp.

El repositorio incluye un catálogo de modelos que abarca modelos de lenguaje grandes como LLaMA, Mistral, Mixtral, Qwen y Gemma, además de Stable Diffusion, Whisper, YOLO, SAM y CLIP, junto con ejemplos de CLI para cada uno.

Funciones clave

  • 01API similar a la de PyTorch para tensores, operaciones y código de modelos en Rust.
  • 02Backend de CPU con MKL (x86) y Accelerate (macOS) opcionales, además de un backend de CUDA.
  • 03Distribución entre varias GPU mediante NCCL.
  • 04Compatibilidad con WASM para ejecutar modelos en el navegador.
  • 05Carga archivos de modelos safetensors, npz, ggml y PyTorch.
  • 06Cuantización mediante los tipos cuantizados de llama.cpp.

Casos de uso

  • Desplegar inferencia de modelos como binarios serverless pequeños, sin un runtime de Python.
  • Ejecutar LLM, modelos de reconocimiento de voz o modelos de imágenes en servicios Rust.
  • Ejecutar modelos en el navegador, del lado del cliente, mediante WASM.
  • Migrar modelos de PyTorch a una base de código Rust.

Inicio rápido

  1. 1

    Añade candle-core a tu proyecto de Rust y ejecuta el ejemplo de multiplicación de matrices

    cargo run
  2. 2

    Activa la compatibilidad con CUDA cambiando el dispositivo a GPU en tu código

  3. 3

    Ejecuta un ejemplo de línea de comandos con CUDA activado

    cargo run --example quantized --release

Antes de usarlo

  • Se necesita una toolchain de Rust y, para usar la GPU, una configuración de CUDA independiente.
  • Muchos ejemplos de modelos requieren descargar los archivos de pesos del modelo por separado.

Temas

#machine-learning#rust#inference#deep-learning#cuda#wasm#llm#quantization

Preguntas frecuentes

¿Qué es candle?
Framework minimalista de ML para Rust con soporte para GPU, diseñado para ofrecer inferencia y despliegue rápidos y ligeros sin Python. Candle es un framework de machine learning escrito en Rust, con una API similar a la de PyTorch. Ofrece tensores, dispositivos y operaciones comunes, además de un backend de CPU optimizado (con MKL opcional en x86 y Accelerate en macOS), un backend de CUDA con distribución entre varias GPU mediante NCCL y compatibilidad con WASM para ejecutar modelos en el navegador.
¿candle es gratuito? ¿Qué licencia tiene?
candle es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿candle sigue mantenido?
Mantenimiento activo. El último commit de candle fue el 2 nov 2026.
¿Para qué puedo usar candle?
Desplegar inferencia de modelos como binarios serverless pequeños, sin un runtime de Python. Ejecutar LLM, modelos de reconocimiento de voz o modelos de imágenes en servicios Rust. Ejecutar modelos en el navegador, del lado del cliente, mediante WASM. Migrar modelos de PyTorch a una base de código Rust.
¿Cómo se instala candle?
Añade candle-core a tu proyecto de Rust y ejecuta el ejemplo de multiplicación de matrices: cargo run Activa la compatibilidad con CUDA cambiando el dispositivo a GPU en tu código Ejecuta un ejemplo de línea de comandos con CUDA activado: cargo run --example quantized --release
¿Dónde consigo candle?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/huggingface/candle

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados