Repolode
Enviar
ikawrakow

ikawrakow/ik_llama.cpp

Un fork de llama.cpp centrado en acelerar la inferencia en CPU, con más tipos de cuantización y funciones para ejecutar LLMs GGUF localmente.

Ver en GitHub
Estrellas
3,314
Forks
494
Issues abiertos
113
Último commit
hace 5 horas

¿Qué es?

ik_llama.cpp es un fork de llama.cpp iniciado en junio de 2024 que permite ejecutar modelos de lenguaje grandes localmente a partir de archivos GGUF. Añade tipos de cuantización, como las familias IQK y Trellis, y busca mejorar el rendimiento en CPU. Ofrece el soporte más completo en CPU x86 con AVX2 o versiones posteriores, en ARM NEON y en GPU NVIDIA con CUDA (Turing o versiones posteriores).

Además del motor de inferencia principal, el fork incluye funciones como la atención MLA y FlashMLA para modelos DeepSeek, overrides de tensores para decidir qué pesos se almacenan en GPU o CPU, un modo de división del grafo para configuraciones con varias GPU, variantes de decodificación especulativa y un llama-server compatible con OpenAI que incluye una interfaz web. Admite muchas arquitecturas de modelos, incluidas versiones recientes de Qwen, GLM, DeepSeek y Gemma.

El proyecto indica que ROCm, Vulkan, Metal y las GPU más antiguas no reciben mantenimiento activo, por lo que quienes usen esos backends deberían consultar la documentación antes de depender de ellos.

Funciones clave

  • 01Tipos de cuantización adicionales, como las cuantizaciones IQK y Trellis, para una inferencia en CPU más rápida y con menor tamaño.
  • 02Implementaciones de atención MLA y FlashMLA para modelos DeepSeek.
  • 03Overrides de tensores para controlar qué pesos se almacenan en GPU o CPU.
  • 04Modo de división del grafo para configuraciones con varias GPU.
  • 05llama-server compatible con OpenAI, con interfaz web integrada y compatibilidad con llamadas a funciones.
  • 06Opciones de decodificación especulativa, incluidos métodos basados en MTP y n-gramas.

Casos de uso

  • Ejecutar modelos GGUF cuantizados en equipos con una CPU potente o con una configuración híbrida de CPU y GPU.
  • Ofrecer endpoints locales de LLM mediante una API compatible con OpenAI.
  • Ejecutar modelos MoE grandes, como DeepSeek, en una estación de trabajo con VRAM limitada.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/ikawrakow/ik_llama.cpp
  2. 2

    Compila para CPU con CMake

    cmake -B build -DGGML_NATIVE=ON
  3. 3

    Compila el proyecto en modo Release

    cmake --build build --config Release -j$(nproc)
  4. 4

    Descarga un archivo de modelo .gguf e inicia el servidor

    ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

Antes de usarlo

  • Solo se admiten por completo los backends de CPU (AVX2 o superior, ARM NEON) y CUDA (Turing o posterior).
  • Los mantenedores no ofrecen soporte para ROCm, Vulkan, Metal, GPU Nvidia antiguas ni CPU que solo admiten AVX.
  • Es posible que algunos modelos Unsloth _XL con tensores f16 no funcionen.
  • La compatibilidad con modelos y cuantización puede diferir de la de la versión principal de llama.cpp.

Temas

#llm#inference#quantization#cpp#gguf#cpu-inference#llama

Preguntas frecuentes

¿Qué es ik_llama.cpp?
Un fork de llama.cpp centrado en acelerar la inferencia en CPU, con más tipos de cuantización y funciones para ejecutar LLMs GGUF localmente. ik_llama.cpp es un fork de llama.cpp iniciado en junio de 2024 que permite ejecutar modelos de lenguaje grandes localmente a partir de archivos GGUF. Añade tipos de cuantización, como las familias IQK y Trellis, y busca mejorar el rendimiento en CPU. Ofrece el soporte más completo en CPU x86 con AVX2 o versiones posteriores, en ARM NEON y en GPU NVIDIA con CUDA (Turing o versiones posteriores).
¿ik_llama.cpp es gratuito? ¿Qué licencia tiene?
ik_llama.cpp es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ik_llama.cpp sigue mantenido?
Mantenimiento activo. El último commit de ik_llama.cpp fue el 20 oct 2026.
¿Para qué puedo usar ik_llama.cpp?
Ejecutar modelos GGUF cuantizados en equipos con una CPU potente o con una configuración híbrida de CPU y GPU. Ofrecer endpoints locales de LLM mediante una API compatible con OpenAI. Ejecutar modelos MoE grandes, como DeepSeek, en una estación de trabajo con VRAM limitada.
¿Cómo se instala ik_llama.cpp?
Clona el repositorio: git clone https://github.com/ikawrakow/ik_llama.cpp Compila para CPU con CMake: cmake -B build -DGGML_NATIVE=ON Compila el proyecto en modo Release: cmake --build build --config Release -j$(nproc) Descarga un archivo de modelo .gguf e inicia el servidor: ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096
¿Dónde consigo ik_llama.cpp?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ikawrakow/ik_llama.cpp

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados