stalkermustang/llm-bulls-and-cows-benchmark

O que é?

Recursos principais

• 01Oferece suporte a vários provedores de LLM por meio do LiteLLM
• 02Apresenta a taxa de sucesso, as falhas de formato e a média de turnos nas partidas vencidas
• 03Executa partidas em paralelo com barras de progresso em tempo real
• 04Permite configurar a quantidade de dígitos e as regras de repetição via YAML
• 05Exporta tabelas Markdown e visualizações HTML interativas

Casos de uso

• Comparar a capacidade de raciocínio de diferentes LLMs em um quebra-cabeça simples e reproduzível
• Testar se um modelo segue instruções rigorosas de formatação da saída
• Reproduzir ou ampliar resultados publicados de benchmarks de LLMs usando suas próprias chaves de API

Início rápido

1. 1

   Instale as dependências e configure os hooks de pre-commit

   pip install -r requirements.txt pre-commit install
2. 2

   Configure as chaves de API do seu provedor de LLM como variáveis de ambiente

3. 3

   Ajuste o arquivo de configuração com o modelo e as configurações de jogo desejados

4. 4

   Execute o benchmark e visualize os resultados

   python run_benchmark.py python scripts/visualize_results.py

Antes de usar

• !A execução do benchmark exige créditos pagos de API de provedores de LLM, e as execuções completas podem custar dezenas de dólares.
• !Os intervalos de confiança dos resultados publicados são amplos porque a maioria dos modelos foi testada em apenas 50 jogos.

Tópicos

Perguntas frequentes

O que é llm-bulls-and-cows-benchmark?

Framework em Python que avalia LLMs fazendo-os jogar Bulls and Cows por meio de provedores compatíveis com LiteLLM. LLM Bulls and Cows Benchmark é um mini-framework para medir o desempenho de modelos de linguagem grandes ao resolver Bulls and Cows, um jogo de quebra-cabeça em que quem tenta adivinhar recebe, após cada tentativa, a quantidade de bulls e cows. Ele se conecta a vários provedores por meio do LiteLLM, permitindo comparar modelos da OpenAI, Anthropic, OpenRouter e outros endpoints com as mesmas regras e prompts.

llm-bulls-and-cows-benchmark é gratuito? Qual é a licença?

llm-bulls-and-cows-benchmark é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

llm-bulls-and-cows-benchmark ainda é mantido?

Sem commits há mais de 6 meses. O último commit de llm-bulls-and-cows-benchmark foi em 31 de jan. de 2025.

Para que posso usar llm-bulls-and-cows-benchmark?

Comparar a capacidade de raciocínio de diferentes LLMs em um quebra-cabeça simples e reproduzível Testar se um modelo segue instruções rigorosas de formatação da saída Reproduzir ou ampliar resultados publicados de benchmarks de LLMs usando suas próprias chaves de API

Como instalar llm-bulls-and-cows-benchmark?

Instale as dependências e configure os hooks de pre-commit: pip install -r requirements.txt pre-commit install Configure as chaves de API do seu provedor de LLM como variáveis de ambiente Ajuste o arquivo de configuração com o modelo e as configurações de jogo desejados Execute o benchmark e visualize os resultados: python run_benchmark.py python scripts/visualize_results.py

Onde consigo llm-bulls-and-cows-benchmark?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/stalkermustang/llm-bulls-and-cows-benchmark