Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado há 6 horas
ikawrakow/ik_llama.cpp
Fork do llama.cpp focado em acelerar a inferência em CPU, com tipos extras de quantização e recursos para executar LLMs GGUF localmente.
- Estrelas
- 3,314
- Forks
- 494
- Issues abertas
- 113
- Último commit
- há 5 horas
O que é?
ik_llama.cpp é um fork do llama.cpp, iniciado em junho de 2024, que executa modelos de linguagem grandes localmente a partir de arquivos GGUF. Ele adiciona tipos de quantização, como as famílias IQK e Trellis, e busca oferecer melhor desempenho em CPU, com suporte mais completo em CPUs x86 com AVX2 ou mais recente e ARM NEON, além de GPUs NVIDIA com CUDA (Turing ou mais recente).
Além do mecanismo de inferência principal, o fork inclui recursos como atenção MLA e FlashMLA para modelos DeepSeek, substituições de tensores para definir quais pesos ficam na GPU ou na CPU, um modo de divisão de grafo para configurações com várias GPUs, variantes de decodificação especulativa e um llama-server compatível com OpenAI, com interface web integrada. Há suporte a muitas arquiteturas de modelos, incluindo versões recentes de Qwen, GLM, DeepSeek e Gemma.
O projeto informa que ROCm, Vulkan, Metal e GPUs mais antigas não são mantidos ativamente; por isso, quem usa esses backends deve consultar a documentação antes de depender deles.
Recursos principais
- 01Tipos adicionais de quantização, como IQK e Trellis, para inferência em CPU mais rápida e com menor uso de memória.
- 02Implementações de atenção MLA e FlashMLA para modelos DeepSeek.
- 03Substituições de tensores para controlar quais pesos são armazenados na GPU ou na CPU.
- 04Modo de divisão de grafo para configurações com várias GPUs.
- 05llama-server compatível com OpenAI, com interface web integrada e suporte a chamadas de função.
- 06Opções de decodificação especulativa, incluindo MTP e métodos baseados em n-gramas.
Casos de uso
- Executar modelos GGUF quantizados em máquinas com foco em CPU ou com CPU e GPU combinadas.
- Disponibilizar endpoints locais de LLM com uma API compatível com OpenAI.
- Executar modelos MoE grandes, como DeepSeek, em uma workstation com VRAM limitada.
Início rápido
- 1
Clone o repositório
git clone https://github.com/ikawrakow/ik_llama.cpp - 2
Compile para CPU com CMake
cmake -B build -DGGML_NATIVE=ON - 3
Compile o projeto no modo Release
cmake --build build --config Release -j$(nproc) - 4
Baixe um arquivo de modelo .gguf e inicie o servidor
./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096
Antes de usar
- Somente os backends de CPU (AVX2 ou superior, ARM NEON) e CUDA (Turing ou mais recente) têm suporte completo.
- ROCm, Vulkan, Metal, GPUs Nvidia antigas e CPUs compatíveis apenas com AVX não têm suporte dos mantenedores.
- Alguns modelos Unsloth _XL com tensores f16 podem não funcionar.
- A compatibilidade com modelos e quantização pode ser diferente da versão principal do llama.cpp.
Tópicos
Perguntas frequentes
- O que é ik_llama.cpp?
- Fork do llama.cpp focado em acelerar a inferência em CPU, com tipos extras de quantização e recursos para executar LLMs GGUF localmente. ik_llama.cpp é um fork do llama.cpp, iniciado em junho de 2024, que executa modelos de linguagem grandes localmente a partir de arquivos GGUF. Ele adiciona tipos de quantização, como as famílias IQK e Trellis, e busca oferecer melhor desempenho em CPU, com suporte mais completo em CPUs x86 com AVX2 ou mais recente e ARM NEON, além de GPUs NVIDIA com CUDA (Turing ou mais recente).
- ik_llama.cpp é gratuito? Qual é a licença?
- ik_llama.cpp é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ik_llama.cpp ainda é mantido?
- Manutenção ativa. O último commit de ik_llama.cpp foi em 20 de out. de 2026.
- Para que posso usar ik_llama.cpp?
- Executar modelos GGUF quantizados em máquinas com foco em CPU ou com CPU e GPU combinadas. Disponibilizar endpoints locais de LLM com uma API compatível com OpenAI. Executar modelos MoE grandes, como DeepSeek, em uma workstation com VRAM limitada.
- Como instalar ik_llama.cpp?
- Clone o repositório: git clone https://github.com/ikawrakow/ik_llama.cpp Compile para CPU com CMake: cmake -B build -DGGML_NATIVE=ON Compile o projeto no modo Release: cmake --build build --config Release -j$(nproc) Baixe um arquivo de modelo .gguf e inicie o servidor: ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096
- Onde consigo ik_llama.cpp?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ikawrakow/ik_llama.cpp
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework oficial da Microsoft para inferência em CPU/GPU de LLMs de 1 bit (ternários, 1,58 bit), baseado no llama.cpp.
41,2 mil3,8 milC++MITAtualizado há 3 meses
Um mecanismo mínimo de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe 1B em placas de baixo custo com cerca de 45 MB de RAM, sem dependências.
2,2 mil293CMITAtualizado há 8 meses
Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
39,5 mil4 milJupyter NotebookApache-2.0Atualizado ontem
Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.
38,1 mil2,5 milRustMITAtualizado ontem
Configuração para servir o Mirai S 27B (um Qwen3.8-27B em GGUF) em uma RTX 4070 de 12 GB, com janela completa de 262 mil tokens e cache K/V q8_0.
10110PythonOtherAtualizado há 12 horas