Uma CLI que detecta sua GPU, CPU e RAM e classifica os LLMs locais do HuggingFace que realmente rodam no seu hardware, com base em benchmarks, não na contagem de parâmetros.
6,8 mil373PythonMITAtualizado ontem
AlexsJones/llmfit
Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.
- Estrelas
- 38,129
- Forks
- 2,456
- Issues abertas
- 60
- Último commit
- ontem
O que é?
llmfit responde a uma dúvida comum de quem executa modelos localmente: quais LLMs de código aberto cabem no meu hardware e rodam a uma velocidade utilizável? A ferramenta verifica núcleos de CPU, RAM do sistema, GPUs dedicadas e integradas, VRAM e memória unificada, incluindo configurações com NVIDIA CUDA, Apple Silicon, AMD ROCm e Intel OneAPI.
Cada modelo do catálogo recebe uma pontuação com base na adequação à memória, velocidade estimada, qualidade e tamanho do contexto. A estimativa leva em conta a quantidade de parâmetros e formatos de quantização como GGUF, AWQ, GPTQ e EXL2. Por padrão, os resultados são exibidos em uma interface interativa no terminal, ou em uma tabela de CLI tradicional e em JSON para uso em scripts.
O projeto também oferece um dashboard web e uma REST API servida por HTTP, além de um comando de benchmark que mede tok/s em relação a um provedor local em execução, como Ollama, llama.cpp, MLX, Docker Model Runner ou LM Studio.
Recursos principais
- 01Detecta CPU, RAM, GPU, VRAM e memória unificada em sistemas NVIDIA, Apple Silicon, AMD e Intel.
- 02Classifica modelos conforme a adequação à memória, velocidade estimada, qualidade e tamanho do contexto.
- 03Oferece uma TUI interativa, uma CLI com saída em JSON e um dashboard web.
- 04Disponibiliza endpoints HTTP como /api/v1/system e /api/v1/models.
- 05Oferece suporte a configurações com várias GPUs, modelos MoE e diversos formatos de quantização.
Casos de uso
- Escolher um LLM local antes de baixar arquivos de modelo com vários gigabytes.
- Verificar se um laptop ou uma workstation consegue executar um modelo a uma velocidade aceitável.
- Usar JSON em scripts ou agentes para obter recomendações de modelos que considerem o hardware.
- Compartilhar resultados de benchmarks de hardware com a comunidade para melhorar as estimativas de velocidade.
Início rápido
- 1
Instale com Homebrew (binário pré-compilado)
brew install AlexsJones/llmfit/llmfit - 2
Inicie a TUI interativa
llmfit
Antes de usar
- Os binários da versão para Windows podem não ter assinatura se o processo de assinatura falhar. Se precisar de um binário assinado, verifique as assinaturas.
- Os valores de velocidade e adequação são estimativas baseadas nas especificações, a menos que você execute seus próprios benchmarks.
Tópicos
Perguntas frequentes
- O que é llmfit?
- Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina. llmfit responde a uma dúvida comum de quem executa modelos localmente: quais LLMs de código aberto cabem no meu hardware e rodam a uma velocidade utilizável? A ferramenta verifica núcleos de CPU, RAM do sistema, GPUs dedicadas e integradas, VRAM e memória unificada, incluindo configurações com NVIDIA CUDA, Apple Silicon, AMD ROCm e Intel OneAPI.
- llmfit é gratuito? Qual é a licença?
- llmfit é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- llmfit ainda é mantido?
- Manutenção ativa. O último commit de llmfit foi em 19 de out. de 2026.
- Para que posso usar llmfit?
- Escolher um LLM local antes de baixar arquivos de modelo com vários gigabytes. Verificar se um laptop ou uma workstation consegue executar um modelo a uma velocidade aceitável. Usar JSON em scripts ou agentes para obter recomendações de modelos que considerem o hardware. Compartilhar resultados de benchmarks de hardware com a comunidade para melhorar as estimativas de velocidade.
- Como instalar llmfit?
- Instale com Homebrew (binário pré-compilado): brew install AlexsJones/llmfit/llmfit Inicie a TUI interativa: llmfit
- Onde consigo llmfit?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/AlexsJones/llmfit
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Mecanismo de inferência de LLM em C/C++ puro para executar modelos de linguagem e visão-linguagem localmente ou na nuvem, em diversos backends de hardware.
131,8 mil24,6 milC++MITAtualizado há 7 horas
Ferramenta CLI para ajustar e fazer pós-treinamento de LLMs com um único arquivo YAML, incluindo opções para GPUs de consumo com pouca VRAM.
9,4 mil1,5 milPythonApache-2.0Atualizado ontem
Aplicativo desktop de código aberto e interface web para executar, ajustar e exportar LLMs e modelos de difusão localmente, além de uma biblioteca de treinamento baseada em código.
78,3 mil7,2 milPythonApache-2.0Atualizado há 7 horas
Reúne os dispositivos que você já tem em um único cluster de IA para executar modelos grandes localmente em vários Macs e outras máquinas.
48 mil3,6 milPythonApache-2.0Atualizado há 7 dias
Um aplicativo desktop gratuito e de código aberto para executar LLMs localmente, com interface de chat e API compatível com OpenAI e Anthropic.
47,7 mil6 milPythonAGPL-3.0Atualizado há 2 meses