utilityai/llama-cpp-rs

Что это?

Ключевые возможности

• 01Предоставляет Rust-биндинги для llama.cpp через crate llama-cpp-2.
• 02Загружает файлы моделей GGUF для локальной генерации текста.
• 03Вместе с crate более высокого уровня включает низкоуровневые биндинги llama-cpp-sys-2.
• 04Поддерживает ускорение на GPU с помощью CUDA через feature-флаг cargo.
• 05Сохраняет близость к API upstream llama.cpp, чтобы быстрее получать обновления.

Сценарии использования

• Встраивание локального инференса LLM в Rust-приложение без отдельного сервера.
• Запуск квантованных моделей GGUF, например Llama 2, на локальном компьютере.
• Создание инструментов на Rust, которым нужен прямой доступ к возможностям llama.cpp.

Быстрый старт

1. 1

   Клонируйте репозиторий вместе с его подмодулями

   git clone --recursive https://github.com/utilityai/llama-cpp-rs
2. 2

   Перейдите в каталог проекта

   cd llama-cpp-rs
3. 3

   Запустите простой пример (добавьте --features cuda, если у вас есть GPU с поддержкой CUDA)

   cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

Что важно знать

• !Проект создан для тесного следования llama.cpp, поэтому он близок к низкоуровневым биндингам и не придерживается semver в значимом смысле.
• !Для сборки примера необходимо клонировать подмодули git и иметь работоспособный инструментарий Rust.

В подборках

Темы

Частые вопросы

Что такое llama-cpp-rs?

Rust-биндинги для llama.cpp, позволяющие Rust-программам локально загружать и запускать языковые модели в формате GGUF через crate llama-cpp-2. llama-cpp-rs предоставляет Rust-биндинги для llama.cpp — библиотеки на C/C++ для запуска больших языковых моделей. Проект опубликован на crates.io как crate llama-cpp-2, а низкоуровневые биндинги находятся в crate llama-cpp-sys-2.

llama-cpp-rs можно использовать бесплатно? Какая у него лицензия?

llama-cpp-rs распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llama-cpp-rs всё ещё поддерживается?

Активно поддерживается. Последний коммит в llama-cpp-rs — 4 нояб. 2026 г..

Для чего можно использовать llama-cpp-rs?

Встраивание локального инференса LLM в Rust-приложение без отдельного сервера. Запуск квантованных моделей GGUF, например Llama 2, на локальном компьютере. Создание инструментов на Rust, которым нужен прямой доступ к возможностям llama.cpp.

Как установить llama-cpp-rs?

Клонируйте репозиторий вместе с его подмодулями: git clone --recursive https://github.com/utilityai/llama-cpp-rs Перейдите в каталог проекта: cd llama-cpp-rs Запустите простой пример (добавьте --features cuda, если у вас есть GPU с поддержкой CUDA): cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

Где скачать llama-cpp-rs?

Исходный код и инструкции по установке — на GitHub: https://github.com/utilityai/llama-cpp-rs