Projetos open source sobre “benchmark”

Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.

Uma CLI que detecta sua GPU, CPU e RAM e classifica os LLMs locais do HuggingFace que realmente rodam no seu hardware, com base em benchmarks, não na contagem de parâmetros.

Uma CLI e um painel web que comparam modelos gratuitos de LLM para programação entre provedores e instalam o escolhido na sua ferramenta de programação.

Framework em Python que avalia LLMs fazendo-os jogar Bulls and Cows por meio de provedores compatíveis com LiteLLM.