ggml-org/llama.cpp

¿Qué es?

Funciones clave

• 01Implementación en C/C++ puro, sin dependencias externas
• 02Aceleración de hardware para Apple Metal, x86 AVX/AMX, CUDA, HIP, Vulkan, SYCL y más
• 03Cuantización de enteros de 1,5 a 8 bits para reducir el uso de memoria
• 04Inferencia híbrida en CPU y GPU para modelos que superan la VRAM disponible
• 05Servidor de API compatible con OpenAI que incorpora una interfaz web

Casos de uso

• Ejecutar localmente LLM de pesos abiertos en una laptop o computadora de escritorio, sin recurrir a un servicio en la nube
• Ofrecer un endpoint local compatible con OpenAI para aplicaciones que ya usan esa API
• Ejecutar modelos cuantizados en hardware con memoria limitada o en dispositivos de borde
• Experimentar con la inferencia en aceleradores específicos, como Apple silicon, GPU con Vulkan o NPU Ascend

Inicio rápido

1. 1

   Ejecuta el script oficial de instalación del README

2. 2

   Descarga los binarios precompilados desde la página de versiones

3. 3

   Descarga y ejecuta un modelo directamente desde Hugging Face

   llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
4. 4

   Inicia el servidor de API compatible con OpenAI

   llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Antes de usarlo

• !Algunos backends, como CUDA, Metal y SYCL, solo funcionan con hardware específico.
• !El backend de OpenVINO todavía figura como en desarrollo.

Temas

Preguntas frecuentes

¿Qué es llama.cpp?

Motor de inferencia de LLM en C/C++ puro para ejecutar modelos de lenguaje y de visión y lenguaje localmente o en la nube, en numerosos tipos de hardware. llama.cpp es un motor de inferencia para modelos de lenguaje grandes (LLM) y modelos de visión y lenguaje (VLM), escrito en C/C++ puro y sin dependencias externas. Su objetivo es facilitar la configuración de la inferencia de modelos y ofrecer un alto rendimiento en una amplia variedad de hardware, tanto en equipos personales como en la nube. Está construido sobre la biblioteca de tensores ggml.

¿llama.cpp es gratuito? ¿Qué licencia tiene?

llama.cpp es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿llama.cpp sigue mantenido?

Mantenimiento activo. El último commit de llama.cpp fue el 20 oct 2026.

¿Para qué puedo usar llama.cpp?

Ejecutar localmente LLM de pesos abiertos en una laptop o computadora de escritorio, sin recurrir a un servicio en la nube Ofrecer un endpoint local compatible con OpenAI para aplicaciones que ya usan esa API Ejecutar modelos cuantizados en hardware con memoria limitada o en dispositivos de borde Experimentar con la inferencia en aceleradores específicos, como Apple silicon, GPU con Vulkan o NPU Ascend

¿Cómo se instala llama.cpp?

Ejecuta el script oficial de instalación del README Descarga los binarios precompilados desde la página de versiones Descarga y ejecuta un modelo directamente desde Hugging Face: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF Inicia el servidor de API compatible con OpenAI: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

¿Dónde consigo llama.cpp?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ggml-org/llama.cpp