Motor de inferencia autónomo escrito en Rust que carga modelos ONNX y NNEF y los ejecuta en CPU, Apple Metal, NVIDIA CUDA y WebAssembly.
3,1 mil+4 esta semana297RustOtherBien mantenidoActualizado hace 8 horas
ggml-org/ggml
Una biblioteca de tensores en C/C++ para machine learning, sencilla, portable y eficiente, con una configuración mínima.
- Estrellas
- 15,591
- Forks
- 1,920
- Issues abiertos
- 380
- Último commit
- hace 4 días
¿Qué es?
ggml es una biblioteca de tensores para machine learning, escrita en C y C puros y sin dependencias externas. Proporciona los componentes de bajo nivel necesarios para ejecutar modelos de ML, como operaciones con tensores y un grafo de cómputo, y está diseñada para integrarse fácilmente en otros programas.
La biblioteca es compatible con una amplia variedad de hardware. Se compila para x86, ARM, RISC-V, LoongArch, PowerPC, s390x y WebAssembly; incluye kernels optimizados con SIMD para x86, ARM y RISC-V, y ofrece backends para CPU, GPU, NPU y entornos de navegador. Admite cuantización de enteros de 2 a 8 bits, además de los formatos de microscaling MXFP4 y NVFP4, y no realiza asignaciones de memoria durante la ejecución.
El repositorio incluye un ejemplo mínimo y comentado de multiplicación de matrices en examples/simple, y documenta el formato de archivo GGUF. Los cambios en la biblioteca principal, incluido su sistema de compilación CMake, se aportan a través del proyecto llama.cpp.
Funciones clave
- 01Implementación en C/C++ puros, sin dependencias externas
- 02Kernels optimizados con SIMD para x86, ARM y RISC-V
- 03Backends para CPU, GPU, NPU y navegador
- 04Cuantización de enteros de 2 a 8 bits, además de los formatos MXFP4 y NVFP4
- 05Sin asignaciones de memoria durante la ejecución
Casos de uso
- Integrar inferencia de ML en aplicaciones C/C++ con una huella reducida
- Ejecutar cálculos con tensores en dispositivos edge o hardware integrado
- Crear entornos de ejecución para modelos cuantizados en CPU y aceleradores
- Ejecutar cargas de trabajo de ML en WebAssembly dentro del navegador
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/ggml-org/ggml - 2
Entra en el directorio del proyecto
cd ggml - 3
Crea un directorio de compilación y configura el proyecto con CMake
mkdir build && cd build cmake .. - 4
Compila la biblioteca en modo Release
cmake --build . --config Release -j 8
Antes de usarlo
- Solo incluye la biblioteca principal, sin un runtime de modelos de alto nivel; tendrás que escribir tu propio código usando su C API.
- Para compilar se necesitan CMake y un compilador de C/C++.
Temas
Preguntas frecuentes
- ¿Qué es ggml?
- Una biblioteca de tensores en C/C++ para machine learning, sencilla, portable y eficiente, con una configuración mínima. ggml es una biblioteca de tensores para machine learning, escrita en C y C puros y sin dependencias externas. Proporciona los componentes de bajo nivel necesarios para ejecutar modelos de ML, como operaciones con tensores y un grafo de cómputo, y está diseñada para integrarse fácilmente en otros programas.
- ¿ggml es gratuito? ¿Qué licencia tiene?
- ggml es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ggml sigue mantenido?
- Mantenimiento activo. El último commit de ggml fue el 4 nov 2026.
- ¿Para qué puedo usar ggml?
- Integrar inferencia de ML en aplicaciones C/C++ con una huella reducida Ejecutar cálculos con tensores en dispositivos edge o hardware integrado Crear entornos de ejecución para modelos cuantizados en CPU y aceleradores Ejecutar cargas de trabajo de ML en WebAssembly dentro del navegador
- ¿Cómo se instala ggml?
- Clona el repositorio: git clone https://github.com/ggml-org/ggml Entra en el directorio del proyecto: cd ggml Crea un directorio de compilación y configura el proyecto con CMake: mkdir build && cd build cmake .. Compila la biblioteca en modo Release: cmake --build . --config Release -j 8
- ¿Dónde consigo ggml?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ggml-org/ggml
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework minimalista de ML para Rust con soporte para GPU, diseñado para ofrecer inferencia y despliegue rápidos y ligeros sin Python.
21,3 mil+26 esta semana1,9 milRustApache-2.0Actualizado hace 5 días
Un motor de inferencia C++ ligero e independiente para ejecutar modelos Gemma de Google en CPU.
7,1 mil+8 esta semana672C++Apache-2.0Actualizado hace 7 horas
Framework oficial de inferencia para CPU y GPU de Microsoft, destinado a modelos de lenguaje grandes de 1 bit (ternarios, de 1,58 bits) y basado en llama.cpp.
41,5 mil+83 esta semana3,9 milC++MITActualizado hace 3 meses
Un motor de serving nativo para el edge que ejecuta grandes modelos de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU y CPU de consumo.
16,8 mil+1,9 mil esta semana1,7 milPythonApache-2.0Actualizado hace 11 horas
Framework ligero de inferencia de redes neuronales para ejecutar modelos de IA en chips de la serie ESP de Espressif, con una ruta de cuantización de ONNX a .espdl mediante ESP-PPQ.
1,2 mil+9 esta semana232AssemblyMITBien mantenidoActualizado anteayer