Repolode
Enviar
utilityai

utilityai/llama-cpp-rs

Bindings de Rust para llama.cpp que permitem carregar e executar modelos de linguagem GGUF localmente por meio do crate llama-cpp-2.

Ver no GitHub
Estrelas
664
Forks
261
Issues abertas
62
Último commit
há 3 dias

O que é?

llama-cpp-rs fornece bindings de Rust para llama.cpp, a biblioteca C/C++ para executar grandes modelos de linguagem. O projeto é publicado no crates.io como o crate llama-cpp-2, enquanto o crate llama-cpp-sys-2 contém os bindings de baixo nível.

O projeto foi desenvolvido para acompanhar de perto o llama.cpp e manter proximidade com a API C original, em vez de envolvê-la em uma abstração pesada. Por isso, não segue o semver à risca, e suas versões são atualizadas para acompanhar as mudanças no llama.cpp upstream.

O repositório inclui um exemplo simples que carrega um modelo GGUF, como um modelo Llama 2 quantizado baixado do Hugging Face, e gera texto. O suporte a GPU CUDA é habilitado por meio de uma feature flag do cargo.

Recursos principais

  • 01Fornece bindings de Rust para llama.cpp por meio do crate llama-cpp-2.
  • 02Carrega arquivos de modelo GGUF para geração de texto local.
  • 03Inclui os bindings de baixo nível llama-cpp-sys-2 junto com o crate de nível mais alto.
  • 04Oferece aceleração por GPU CUDA por meio de uma feature flag do cargo.
  • 05Mantém proximidade com a API do llama.cpp upstream para acompanhar rapidamente as atualizações.

Casos de uso

  • Incorporar inferência local de LLM em uma aplicação Rust sem precisar de um servidor separado.
  • Executar modelos GGUF quantizados, como Llama 2, em uma máquina local.
  • Criar ferramentas em Rust que precisam de acesso direto às funcionalidades do llama.cpp.

Início rápido

  1. 1

    Clone o repositório com seus submódulos

    git clone --recursive https://github.com/utilityai/llama-cpp-rs
  2. 2

    Acesse o diretório do projeto

    cd llama-cpp-rs
  3. 3

    Execute o exemplo simples (adicione --features cuda se você tiver uma GPU CUDA)

    cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

Antes de usar

  • O projeto foi desenvolvido para acompanhar de perto o llama.cpp, por isso é semelhante a bindings brutos e não segue o semver de forma significativa.
  • Para compilar o exemplo, é necessário clonar os submódulos do git e ter uma toolchain Rust funcionando.

Em coleções

Rode LLMs localmente

Tópicos

#rust#llm#llama-cpp#inference#gguf#bindings#local-llm

Perguntas frequentes

O que é llama-cpp-rs?
Bindings de Rust para llama.cpp que permitem carregar e executar modelos de linguagem GGUF localmente por meio do crate llama-cpp-2. llama-cpp-rs fornece bindings de Rust para llama.cpp, a biblioteca C/C++ para executar grandes modelos de linguagem. O projeto é publicado no crates.io como o crate llama-cpp-2, enquanto o crate llama-cpp-sys-2 contém os bindings de baixo nível.
llama-cpp-rs é gratuito? Qual é a licença?
llama-cpp-rs é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
llama-cpp-rs ainda é mantido?
Manutenção ativa. O último commit de llama-cpp-rs foi em 4 de nov. de 2026.
Para que posso usar llama-cpp-rs?
Incorporar inferência local de LLM em uma aplicação Rust sem precisar de um servidor separado. Executar modelos GGUF quantizados, como Llama 2, em uma máquina local. Criar ferramentas em Rust que precisam de acesso direto às funcionalidades do llama.cpp.
Como instalar llama-cpp-rs?
Clone o repositório com seus submódulos: git clone --recursive https://github.com/utilityai/llama-cpp-rs Acesse o diretório do projeto: cd llama-cpp-rs Execute o exemplo simples (adicione --features cuda se você tiver uma GPU CUDA): cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf
Onde consigo llama-cpp-rs?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/utilityai/llama-cpp-rs

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados