Bindings de Rust para llama.cpp que permiten cargar y ejecutar modelos de lenguaje GGUF localmente mediante el crate llama-cpp-2.
664261RustApache-2.0Bien mantenidoActualizado anteayer
gpustack/gguf-parser-go
Herramienta en Go que analiza archivos de modelos GGUF de forma remota y estima su uso de RAM/VRAM y los tokens por segundo máximos antes de descargarlos.
- Estrellas
- 310
- Forks
- 31
- Issues abiertos
- 0
- Último commit
- hace 8 días
¿Qué es?
GGUF Parser inspecciona archivos de modelos GGUF e informa de sus metadatos, arquitectura, detalles del tokenizer y requisitos de memoria estimados. Lee únicamente los fragmentos necesarios, por lo que puede analizar un modelo alojado en Hugging Face, ModelScope u Ollama sin descargar el archivo completo.
El estimador calcula el uso de RAM y VRAM para un tamaño de contexto, tamaño de batch, ajuste de flash attention y número de capas descargadas, e incluye configuraciones con distribución entre varias GPU y RPC. Si se proporcionan métricas del dispositivo, también puede estimar los tokens por segundo máximos de un modelo de lenguaje sin ejecutarlo. La herramienta también clasifica los archivos como modelos de embeddings, reranking, decisión o LoRA, y admite arquitecturas de ventana deslizante, MLA y proyectores de audio.
El proyecto está escrito en Go y se distribuye como binario CLI e imagen de Docker.
Funciones clave
- 01Analiza metadatos GGUF desde URL remotas o repositorios de Hugging Face y ModelScope, sin descargar los archivos completos.
- 02Estima el uso de RAM y VRAM con ajustes configurables de tamaño de contexto, tamaño de batch y descarga de capas.
- 03Estima los tokens por segundo máximos a partir de las métricas del dispositivo proporcionadas.
- 04Distingue archivos de modelos de embeddings, reranking, decisión y LoRA.
- 05Admite la distribución de tensores entre varias GPU y dispositivos remotos mediante RPC en sus estimaciones.
Casos de uso
- Comprobar si un modelo cuantizado cabe en la memoria GPU disponible antes de descargarlo.
- Planificar cuántas capas descargar a la GPU al ejecutar inferencia basada en llama.cpp.
- Comparar estimaciones de memoria y rendimiento entre variantes de modelos y niveles de cuantización.
Inicio rápido
- 1
Descarga el binario desde la página de versiones
- 2
Analiza un archivo GGUF local
gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
Antes de usarlo
- La estimación de tokens máximos por segundo es experimental.
- Algunos archivos de modelo no siguen la nomenclatura general.file_type, por lo que la etiqueta de cuantización puede ser imprecisa.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es gguf-parser-go?
- Herramienta en Go que analiza archivos de modelos GGUF de forma remota y estima su uso de RAM/VRAM y los tokens por segundo máximos antes de descargarlos. GGUF Parser inspecciona archivos de modelos GGUF e informa de sus metadatos, arquitectura, detalles del tokenizer y requisitos de memoria estimados. Lee únicamente los fragmentos necesarios, por lo que puede analizar un modelo alojado en Hugging Face, ModelScope u Ollama sin descargar el archivo completo.
- ¿gguf-parser-go es gratuito? ¿Qué licencia tiene?
- gguf-parser-go es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿gguf-parser-go sigue mantenido?
- Mantenimiento activo. El último commit de gguf-parser-go fue el 30 oct 2026.
- ¿Para qué puedo usar gguf-parser-go?
- Comprobar si un modelo cuantizado cabe en la memoria GPU disponible antes de descargarlo. Planificar cuántas capas descargar a la GPU al ejecutar inferencia basada en llama.cpp. Comparar estimaciones de memoria y rendimiento entre variantes de modelos y niveles de cuantización.
- ¿Cómo se instala gguf-parser-go?
- Descarga el binario desde la página de versiones Analiza un archivo GGUF local: gguf-parser --path ~/.cache/lm-studio/models/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
- ¿Dónde consigo gguf-parser-go?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/gpustack/gguf-parser-go
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Ejecuta modelos GGUF grandes de mezcla de expertos transmitiendo los pesos de los expertos desde un SSD, con llama.cpp, en equipos con menos RAM o VRAM de la que requiere el modelo.
340+56 esta semana53C++Apache-2.0Bien mantenidoActualizado hace 10 horas
Servidor de inferencia de LLM en Rust para modelos mixture-of-experts más grandes que la GPU, con una API HTTP compatible con llama-server, en GPU NVIDIA y Apple Silicon.
607RustMITBien mantenidoActualizado hace 11 horas
Aplicación de escritorio gratuita y de código abierto para ejecutar LLM localmente, con una interfaz de chat y una API compatible con OpenAI y Anthropic.
47,7 mil+7 esta semana6 milPythonAGPL-3.0Actualizado hace 3 meses
Distribuye y ejecuta LLM abiertos en un único archivo ejecutable, compatible con la mayoría de los sistemas operativos y arquitecturas de CPU, sin necesidad de instalación.
26,6 mil+50 esta semana1,7 milC++OtherBien mantenidoActualizado ayer
Runner local en un solo archivo para modelos de lenguaje GGUF, con una interfaz web KoboldAI integrada y generación de texto, imágenes, voz y música.
12,2 mil+74 esta semana808C++AGPL-3.0Bien mantenidoActualizado hace 10 horas