ggml-org/llama.cpp

O que é?

Recursos principais

• 01Implementação em C/C++ puro, sem dependências externas
• 02Aceleração de hardware para Apple Metal, x86 AVX/AMX, CUDA, HIP, Vulkan, SYCL e outros
• 03Quantização de inteiros de 1,5 a 8 bits para reduzir o uso de memória
• 04Inferência híbrida em CPU+GPU para modelos maiores que a VRAM disponível
• 05Servidor de API compatível com OpenAI, com interface web integrada

Casos de uso

• Executar LLMs de pesos abertos localmente em um laptop ou desktop, sem serviço na nuvem
• Disponibilizar um endpoint local compatível com OpenAI para aplicativos que já usam essa API
• Executar modelos quantizados em hardware com memória limitada ou de borda
• Experimentar a inferência em aceleradores específicos, como Apple silicon, GPUs Vulkan ou NPUs Ascend

Início rápido

1. 1

   Execute o script oficial de instalação do README

2. 2

   Baixe os binários pré-compilados na página de lançamentos

3. 3

   Baixe e execute um modelo diretamente do Hugging Face

   llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
4. 4

   Inicie o servidor de API compatível com OpenAI

   llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Antes de usar

• !Alguns backends, como CUDA, Metal e SYCL, só funcionam com hardware específico.
• !O backend OpenVINO ainda está marcado como em desenvolvimento.

Tópicos

Perguntas frequentes

O que é llama.cpp?

Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware. llama.cpp é um mecanismo de inferência para grandes modelos de linguagem (LLMs) e modelos de visão-linguagem (VLMs), escrito em C/C++ puro e sem dependências externas. O objetivo é facilitar a configuração da inferência e garantir rapidez em uma ampla variedade de hardwares, tanto em computadores pessoais quanto na nuvem. O projeto é baseado na biblioteca de tensores ggml.

llama.cpp é gratuito? Qual é a licença?

llama.cpp é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

llama.cpp ainda é mantido?

Manutenção ativa. O último commit de llama.cpp foi em 20 de out. de 2026.

Para que posso usar llama.cpp?

Executar LLMs de pesos abertos localmente em um laptop ou desktop, sem serviço na nuvem Disponibilizar um endpoint local compatível com OpenAI para aplicativos que já usam essa API Executar modelos quantizados em hardware com memória limitada ou de borda Experimentar a inferência em aceleradores específicos, como Apple silicon, GPUs Vulkan ou NPUs Ascend

Como instalar llama.cpp?

Execute o script oficial de instalação do README Baixe os binários pré-compilados na página de lançamentos Baixe e execute um modelo diretamente do Hugging Face: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF Inicie o servidor de API compatível com OpenAI: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Onde consigo llama.cpp?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ggml-org/llama.cpp