Repolode
Предложить
huggingface

huggingface/candle

Минималистичный ML-фреймворк на Rust с поддержкой GPU для быстрого и лёгкого инференса и деплоя без Python.

Open source альтернатива:PyTorch

Открыть на GitHub
Звёзды
21,279
Форки
1,855
Открытые issues
964
Последний коммит
5 дней назад

Что это?

Candle — фреймворк для машинного обучения на Rust с API, похожим на PyTorch. Он предоставляет тензоры, устройства и распространённые операции, оптимизированный CPU-бэкенд (с опциональной поддержкой MKL на x86 и Accelerate на macOS), CUDA-бэкенд с распределением вычислений между несколькими GPU через NCCL и поддержку WASM для запуска моделей в браузере.

Проект призван сделать серверлесс-инференс практичным: вместо подключения всего стека Python для ML он позволяет собирать небольшие бинарные файлы и обходиться без Python в production. Candle загружает модели из файлов safetensors, npz, ggml и PyTorch, а также поддерживает квантование с использованием квантованных типов llama.cpp.

В репозитории есть коллекция моделей, включающая большие языковые модели LLaMA, Mistral, Mixtral, Qwen и Gemma, а также Stable Diffusion, Whisper, YOLO, SAM и CLIP. Для каждой модели приведены примеры запуска через командную строку.

Ключевые возможности

  • 01API в стиле PyTorch для тензоров, операций и кода моделей на Rust.
  • 02CPU-бэкенд с опциональной поддержкой MKL (x86) и Accelerate (macOS), а также CUDA-бэкенд.
  • 03Распределение вычислений между несколькими GPU через NCCL.
  • 04Поддержка WASM для запуска моделей в браузере.
  • 05Загрузка файлов моделей в форматах safetensors, npz, ggml и PyTorch.
  • 06Квантование с использованием квантованных типов llama.cpp.

Сценарии использования

  • Деплой инференса моделей в виде небольших серверлесс-бинарных файлов без среды выполнения Python.
  • Запуск LLM, моделей распознавания речи и компьютерного зрения в сервисах на Rust.
  • Запуск моделей на стороне клиента в браузере через WASM.
  • Перенос моделей PyTorch в кодовую базу на Rust.

Быстрый старт

  1. 1

    Добавьте candle-core в проект на Rust и запустите пример умножения матриц

    cargo run
  2. 2

    Включите поддержку CUDA, переключив устройство на GPU в коде

  3. 3

    Запустите пример командной строки с включённой поддержкой CUDA

    cargo run --example quantized --release

Что важно знать

  • Необходимы toolchain Rust и отдельная настройка CUDA для работы с GPU.
  • Для многих примеров моделей файлы весов нужно скачивать отдельно.

Темы

#machine-learning#rust#inference#deep-learning#cuda#wasm#llm#quantization

Частые вопросы

Что такое candle?
Минималистичный ML-фреймворк на Rust с поддержкой GPU для быстрого и лёгкого инференса и деплоя без Python. Candle — фреймворк для машинного обучения на Rust с API, похожим на PyTorch. Он предоставляет тензоры, устройства и распространённые операции, оптимизированный CPU-бэкенд (с опциональной поддержкой MKL на x86 и Accelerate на macOS), CUDA-бэкенд с распределением вычислений между несколькими GPU через NCCL и поддержку WASM для запуска моделей в браузере.
candle можно использовать бесплатно? Какая у него лицензия?
candle распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
candle всё ещё поддерживается?
Активно поддерживается. Последний коммит в candle — 2 нояб. 2026 г..
Для чего можно использовать candle?
Деплой инференса моделей в виде небольших серверлесс-бинарных файлов без среды выполнения Python. Запуск LLM, моделей распознавания речи и компьютерного зрения в сервисах на Rust. Запуск моделей на стороне клиента в браузере через WASM. Перенос моделей PyTorch в кодовую базу на Rust.
Как установить candle?
Добавьте candle-core в проект на Rust и запустите пример умножения матриц: cargo run Включите поддержку CUDA, переключив устройство на GPU в коде Запустите пример командной строки с включённой поддержкой CUDA: cargo run --example quantized --release
Где скачать candle?
Исходный код и инструкции по установке — на GitHub: https://github.com/huggingface/candle

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

OpenNMT / CTranslate2

Библиотека на C++ и Python для быстрого запуска моделей Transformer, таких как Whisper, Llama и NLLB, с меньшим расходом памяти благодаря квантованию и оптимизированным ядрам.

ИИ и машинное обучение#inference#transformer-models#quantization
4,7 тыс.+8 за неделю552C++MITАктивно поддерживаетсяОбновлён 5 дней назад