Una CLI que detecta tu GPU, CPU y RAM, y clasifica los LLM locales de HuggingFace que realmente funcionan en tu hardware según benchmarks, no por cantidad de parámetros.
6,8 mil373PythonMITActualizado hace 23 horas
AlexsJones/llmfit
CLI y TUI en Rust que detecta tu CPU, RAM y GPU y clasifica los LLM de código abierto según qué tan bien funcionarán en tu equipo.
- Estrellas
- 38,129
- Forks
- 2,456
- Issues abiertos
- 60
- Último commit
- ayer
¿Qué es?
llmfit responde a una pregunta habitual entre quienes ejecutan modelos localmente: ¿qué LLM de código abierto caben en mi hardware y funcionan a una velocidad aceptable? Examina los núcleos de CPU, la RAM del sistema, las GPU dedicadas e integradas, la VRAM y la memoria unificada, incluidos los entornos con NVIDIA CUDA, Apple Silicon, AMD ROCm e Intel OneAPI.
Cada modelo de su catálogo recibe una puntuación según su ajuste a la memoria disponible, la velocidad estimada, la calidad y la longitud del contexto. La estimación tiene en cuenta el número de parámetros y formatos de cuantización como GGUF, AWQ, GPTQ y EXL2. De forma predeterminada, los resultados se muestran en una interfaz de terminal interactiva; también pueden consultarse en una tabla CLI clásica o como salida JSON para scripts.
El proyecto también ofrece un panel web y una API REST a través de HTTP, además de un comando de benchmark que mide los tok/s frente a un proveedor local en ejecución, como Ollama, llama.cpp, MLX, Docker Model Runner o LM Studio.
Funciones clave
- 01Detecta CPU, RAM, GPU, VRAM y memoria unificada en sistemas NVIDIA, Apple Silicon, AMD e Intel.
- 02Clasifica los modelos según su ajuste a la memoria disponible, la velocidad estimada, la calidad y la longitud del contexto.
- 03Ofrece una TUI interactiva, una CLI con salida JSON y un panel web.
- 04Expone endpoints HTTP como /api/v1/system y /api/v1/models.
- 05Admite configuraciones con varias GPU, modelos MoE y distintos formatos de cuantización.
Casos de uso
- Elegir un LLM local antes de descargar archivos de modelo de varios gigabytes.
- Comprobar si una laptop o una estación de trabajo puede ejecutar un modelo a una velocidad aceptable.
- Usar JSON para integrar en scripts o agentes recomendaciones de modelos que tengan en cuenta el hardware.
- Compartir con la comunidad resultados de benchmarks de hardware para mejorar las estimaciones de velocidad.
Inicio rápido
- 1
Instalar con Homebrew (binario precompilado)
brew install AlexsJones/llmfit/llmfit - 2
Iniciar la TUI interactiva
llmfit
Antes de usarlo
- Los binarios de la versión para Windows pueden no estar firmados si falla el proceso de firma. Si necesitas un binario firmado, verifica las firmas.
- Las cifras de velocidad y ajuste son estimaciones basadas en las especificaciones, a menos que ejecutes tus propias pruebas de rendimiento.
Temas
Preguntas frecuentes
- ¿Qué es llmfit?
- CLI y TUI en Rust que detecta tu CPU, RAM y GPU y clasifica los LLM de código abierto según qué tan bien funcionarán en tu equipo. llmfit responde a una pregunta habitual entre quienes ejecutan modelos localmente: ¿qué LLM de código abierto caben en mi hardware y funcionan a una velocidad aceptable? Examina los núcleos de CPU, la RAM del sistema, las GPU dedicadas e integradas, la VRAM y la memoria unificada, incluidos los entornos con NVIDIA CUDA, Apple Silicon, AMD ROCm e Intel OneAPI.
- ¿llmfit es gratuito? ¿Qué licencia tiene?
- llmfit es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿llmfit sigue mantenido?
- Mantenimiento activo. El último commit de llmfit fue el 19 oct 2026.
- ¿Para qué puedo usar llmfit?
- Elegir un LLM local antes de descargar archivos de modelo de varios gigabytes. Comprobar si una laptop o una estación de trabajo puede ejecutar un modelo a una velocidad aceptable. Usar JSON para integrar en scripts o agentes recomendaciones de modelos que tengan en cuenta el hardware. Compartir con la comunidad resultados de benchmarks de hardware para mejorar las estimaciones de velocidad.
- ¿Cómo se instala llmfit?
- Instalar con Homebrew (binario precompilado): brew install AlexsJones/llmfit/llmfit Iniciar la TUI interactiva: llmfit
- ¿Dónde consigo llmfit?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/AlexsJones/llmfit
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Herramienta CLI para ajustar y seguir entrenando LLM con una sola configuración YAML, con opciones para usar GPU de consumo con poca VRAM.
9,4 mil1,5 milPythonApache-2.0Actualizado hace 22 horas
Espacio de trabajo de programación con IA de Z.ai, disponible como app de escritorio, interfaz web y agente de terminal, basado en una base de código compartida en TypeScript.
8 mil2,5 milTypeScriptApache-2.0Actualizado ayer
CLI y panel web para comparar modelos LLM gratuitos de programación de distintos proveedores e instalar el elegido en tu herramienta de programación.
2,8 mil294HTMLOtherActualizado ayer
Motor mínimo de inferencia de LLM en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas con unos 45 MB de RAM y sin dependencias.
2,2 mil293CMITActualizado hace 8 meses
App de macOS en la barra de menús para ejecutar LLM locales con llama.cpp, un servidor API local y una WebUI integrada.
1,7 mil130SwiftMITActualizado anteayer