Repolode
Enviar
Andyyyy64

Andyyyy64/whichllm

Uma CLI que detecta sua GPU, CPU e RAM e classifica os LLMs locais do HuggingFace que realmente rodam no seu hardware, com base em benchmarks, não na contagem de parâmetros.

Ver no GitHub
Estrelas
6,767
Forks
373
Issues abertas
6
Último commit
há 11 horas

O que é?

whichllm responde à pergunta: quais LLMs locais você consegue rodar bem de verdade na sua máquina? A ferramenta detecta configurações com NVIDIA, AMD, Intel, Apple Silicon ou apenas CPU, estima a VRAM necessária e a velocidade de geração para cada opção e exibe uma lista classificada de modelos obtidos em tempo real pela API do HuggingFace.

A classificação se baseia em resultados combinados de benchmarks, como LiveBench, Artificial Analysis, Aider, Chatbot Arena ELO e Open LLM Leaderboard, com rebaixamento de pontuação conforme a recência, para resultados desatualizados. Cada pontuação vem acompanhada de um rótulo de evidência (direct, variant, base, interpolated ou self-reported), deixando claro quando os resultados são herdados ou informados pelo próprio uploader e recebem um peso menor. Você pode simular qualquer GPU com --gpu antes de comprar hardware, comparar opções de upgrade ou descobrir qual GPU é necessária para um determinado modelo.

Além de recomendar modelos, a ferramenta pode baixar um modelo e conversar com ele via llama-cpp-python, transformers ou AutoAWQ/AutoGPTQ, exibir trechos de Python prontos para executar e gerar saída em JSON ou Markdown para scripts e issues.

Recursos principais

  • 01Detecta automaticamente hardware NVIDIA, AMD, Intel, Apple Silicon ou apenas CPU
  • 02Classifica modelos com base em benchmarks reais combinados, rebaixando resultados desatualizados
  • 03Estima se o modelo cabe na VRAM, o processamento total ou parcial na GPU e os tokens por segundo
  • 04Simula qualquer configuração de GPU ou de várias GPUs com --gpu antes da compra
  • 05Consulta inversamente o hardware necessário para um modelo com plan
  • 06Permite conversar com um modelo com um único comando via run e copiar e colar Python via snippet
  • 07Gera saída em JSON e Markdown para scripts e compartilhamento

Casos de uso

  • Escolher um modelo local antes de comprar ou atualizar uma GPU
  • Encontrar o maior modelo que roda sem problemas em um laptop ou desktop
  • Verificar qual GPU é necessária para um modelo específico, como Llama 70B
  • Usar o ID do melhor modelo em scripts ou em um fluxo de trabalho com Ollama

Início rápido

  1. 1

    Execute a recomendação uma vez sem configurar nada

    uvx whichllm@latest
  2. 2

    Simule uma GPU antes de comprar hardware

    uvx whichllm@latest --gpu "RTX 4090"
  3. 3

    Instale se for usar com frequência

    uv tool install whichllm

Antes de usar

  • A classificação dos modelos depende dos dados atualizados do HuggingFace e das fontes de benchmarks, por isso os resultados podem mudar com o tempo.
  • Os valores de velocidade e VRAM são estimativas, não medições em tempo real na sua máquina.

Tópicos

#local-llm#llm#gpu#huggingface#benchmark#cli#hardware#quantization#localllm

Perguntas frequentes

O que é whichllm?
Uma CLI que detecta sua GPU, CPU e RAM e classifica os LLMs locais do HuggingFace que realmente rodam no seu hardware, com base em benchmarks, não na contagem de parâmetros. whichllm responde à pergunta: quais LLMs locais você consegue rodar bem de verdade na sua máquina? A ferramenta detecta configurações com NVIDIA, AMD, Intel, Apple Silicon ou apenas CPU, estima a VRAM necessária e a velocidade de geração para cada opção e exibe uma lista classificada de modelos obtidos em tempo real pela API do HuggingFace.
whichllm é gratuito? Qual é a licença?
whichllm é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
whichllm ainda é mantido?
Manutenção ativa. O último commit de whichllm foi em 19 de out. de 2026.
Para que posso usar whichllm?
Escolher um modelo local antes de comprar ou atualizar uma GPU Encontrar o maior modelo que roda sem problemas em um laptop ou desktop Verificar qual GPU é necessária para um modelo específico, como Llama 70B Usar o ID do melhor modelo em scripts ou em um fluxo de trabalho com Ollama
Como instalar whichllm?
Execute a recomendação uma vez sem configurar nada: uvx whichllm@latest Simule uma GPU antes de comprar hardware: uvx whichllm@latest --gpu "RTX 4090" Instale se for usar com frequência: uv tool install whichllm
Onde consigo whichllm?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Andyyyy64/whichllm

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados