stalkermustang/llm-bulls-and-cows-benchmark

¿Qué es?

Funciones clave

• 01Compatible con muchos proveedores de LLM mediante LiteLLM
• 02Informa la tasa de éxito, los errores de formato y el promedio de turnos en las partidas ganadas
• 03Ejecuta partidas en paralelo con barras de progreso en tiempo real
• 04Permite configurar la cantidad de dígitos y las reglas de repetición mediante YAML
• 05Exporta tablas Markdown y visualizaciones HTML interactivas

Casos de uso

• Comparar la capacidad de razonamiento de distintos LLMs con un rompecabezas sencillo y reproducible
• Comprobar si un modelo sigue instrucciones estrictas de formato de salida
• Reproducir o ampliar resultados publicados de pruebas de referencia de LLM con tus propias claves de API

Inicio rápido

1. 1

   Instala las dependencias y configura los hooks de pre-commit

   pip install -r requirements.txt pre-commit install
2. 2

   Configura las claves de API de tu proveedor de LLM como variables de entorno

3. 3

   Ajusta el archivo de configuración con el modelo y los ajustes de juego que quieras

4. 4

   Ejecuta el benchmark y visualiza los resultados

   python run_benchmark.py python scripts/visualize_results.py

Antes de usarlo

• !Para ejecutar el benchmark se necesitan créditos de API de pago de proveedores de LLM; las ejecuciones completas pueden costar decenas de dólares.
• !Los intervalos de confianza de los resultados publicados son amplios porque la mayoría de los modelos solo se probaron en 50 partidas.

Temas

Preguntas frecuentes

¿Qué es llm-bulls-and-cows-benchmark?

Framework de Python que evalúa LLMs haciéndolos jugar a Bulls and Cows mediante proveedores compatibles con LiteLLM. LLM Bulls and Cows Benchmark es un miniframework para medir qué tan bien resuelven los modelos de lenguaje grandes Bulls and Cows, un juego de descifrado en el que quien adivina recibe, después de cada intento, la cantidad de aciertos exactos y parciales. Se conecta con muchos proveedores mediante LiteLLM, así que permite comparar modelos de OpenAI, Anthropic, OpenRouter y otros endpoints con las mismas reglas de juego y los mismos prompts.

¿llm-bulls-and-cows-benchmark es gratuito? ¿Qué licencia tiene?

llm-bulls-and-cows-benchmark es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿llm-bulls-and-cows-benchmark sigue mantenido?

Sin commits en más de 6 meses. El último commit de llm-bulls-and-cows-benchmark fue el 31 ene 2025.

¿Para qué puedo usar llm-bulls-and-cows-benchmark?

Comparar la capacidad de razonamiento de distintos LLMs con un rompecabezas sencillo y reproducible Comprobar si un modelo sigue instrucciones estrictas de formato de salida Reproducir o ampliar resultados publicados de pruebas de referencia de LLM con tus propias claves de API

¿Cómo se instala llm-bulls-and-cows-benchmark?

Instala las dependencias y configura los hooks de pre-commit: pip install -r requirements.txt pre-commit install Configura las claves de API de tu proveedor de LLM como variables de entorno Ajusta el archivo de configuración con el modelo y los ajustes de juego que quieras Ejecuta el benchmark y visualiza los resultados: python run_benchmark.py python scripts/visualize_results.py

¿Dónde consigo llm-bulls-and-cows-benchmark?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/stalkermustang/llm-bulls-and-cows-benchmark