stalkermustang/llm-bulls-and-cows-benchmark

Что это?

Ключевые возможности

• 01Поддержка множества провайдеров LLM через LiteLLM
• 02Подсчёт доли успешных игр, ошибок формата и среднего числа ходов в выигранных играх
• 03Параллельный запуск игр с индикаторами прогресса
• 04Настройка количества цифр и правил их повторения через YAML
• 05Экспорт таблиц Markdown и интерактивных визуализаций в HTML

Сценарии использования

• Сравнение способности разных LLM к рассуждению на простой и воспроизводимой головоломке
• Проверка того, соблюдает ли модель строгие требования к формату ответа
• Повторение или расширение опубликованных результатов бенчмарков LLM с собственными API-ключами

Быстрый старт

1. 1

   Установите зависимости и настройте хуки pre-commit

   pip install -r requirements.txt pre-commit install
2. 2

   Задайте API-ключи провайдера LLM в качестве переменных окружения

3. 3

   Настройте файл конфигурации, указав нужную модель и параметры игры

4. 4

   Запустите бенчмарк и визуализируйте результаты

   python run_benchmark.py python scripts/visualize_results.py

Что важно знать

• !Для запуска бенчмарка нужны платные API-кредиты провайдеров LLM; полный запуск может стоить десятки долларов.
• !Доверительные интервалы в опубликованных результатах широки, поскольку большинство моделей тестировалось всего на 50 играх.

Темы

Частые вопросы

Что такое llm-bulls-and-cows-benchmark?

Python-фреймворк для сравнения LLM в игре «Быки и коровы» через совместимые с LiteLLM провайдеры. LLM Bulls and Cows Benchmark — мини-фреймворк для оценки того, насколько хорошо большие языковые модели решают задачу «Быки и коровы»: после каждой попытки игрок получает количество быков и коров. Фреймворк подключается ко множеству провайдеров через LiteLLM, поэтому модели от OpenAI, Anthropic, OpenRouter и других API можно сравнивать по одинаковым правилам и промптам.

llm-bulls-and-cows-benchmark можно использовать бесплатно? Какая у него лицензия?

llm-bulls-and-cows-benchmark распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llm-bulls-and-cows-benchmark всё ещё поддерживается?

Нет коммитов больше 6 месяцев. Последний коммит в llm-bulls-and-cows-benchmark — 31 янв. 2025 г..

Для чего можно использовать llm-bulls-and-cows-benchmark?

Сравнение способности разных LLM к рассуждению на простой и воспроизводимой головоломке Проверка того, соблюдает ли модель строгие требования к формату ответа Повторение или расширение опубликованных результатов бенчмарков LLM с собственными API-ключами

Как установить llm-bulls-and-cows-benchmark?

Установите зависимости и настройте хуки pre-commit: pip install -r requirements.txt pre-commit install Задайте API-ключи провайдера LLM в качестве переменных окружения Настройте файл конфигурации, указав нужную модель и параметры игры Запустите бенчмарк и визуализируйте результаты: python run_benchmark.py python scripts/visualize_results.py

Где скачать llm-bulls-and-cows-benchmark?

Исходный код и инструкции по установке — на GitHub: https://github.com/stalkermustang/llm-bulls-and-cows-benchmark