stalkermustang/llm-bulls-and-cows-benchmark

这是什么？

核心功能

• 01通过 LiteLLM 支持多家大模型服务商
• 02统计成功率、格式错误率与获胜局平均回合数
• 03支持并发对局并实时显示进度
• 04可通过 YAML 配置位数与是否允许重复数字
• 05导出 Markdown 表格和交互式 HTML 图表

适用场景

• 在简单且可复现的谜题上比较不同大模型的推理能力
• 检验模型能否严格遵循输出格式要求
• 用自己的 API 密钥复现或扩展大模型评测结果

快速上手

1. 1

   安装依赖并设置预提交钩子

   pip install -r requirements.txt pre-commit install
2. 2

   将所用 LLM 提供商的 API 密钥配置为环境变量

3. 3

   在配置文件中设置所需的模型和游戏参数

4. 4

   运行基准测试并可视化结果

   python run_benchmark.py python scripts/visualize_results.py

使用前须知

• !运行基准测试需要付费的 LLM 提供商 API 额度，完整运行的费用可能达到数十美元。
• !由于多数模型仅测试了 50 局游戏，已公布结果的置信区间较宽。

标签

常见问题

llm-bulls-and-cows-benchmark 是什么？

一个基于 Python 的小型框架，让大模型通过 LiteLLM 接入的多家服务商玩 Bulls and Cows 猜数游戏，以此评测其推理与上下文记忆能力。 LLM Bulls and Cows Benchmark 是一个小型评测框架，用来衡量大语言模型解决 Bulls and Cows 猜数游戏的能力。每次猜测后，猜测方会得到位置与数字都正确的“公牛”数和只有数字正确的“奶牛”数。项目通过 LiteLLM 接入多家服务商，包括 OpenAI、Anthropic、OpenRouter 等，可以在相同的规则和提示词下比较不同模型。

llm-bulls-and-cows-benchmark 可以免费使用吗？用的什么许可证？

llm-bulls-and-cows-benchmark 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

llm-bulls-and-cows-benchmark 还在维护吗？

超过半年未提交。llm-bulls-and-cows-benchmark 最近一次提交是在 2025年1月31日。

llm-bulls-and-cows-benchmark 适合用来做什么？

在简单且可复现的谜题上比较不同大模型的推理能力 检验模型能否严格遵循输出格式要求 用自己的 API 密钥复现或扩展大模型评测结果

llm-bulls-and-cows-benchmark 怎么安装和运行？

安装依赖并设置预提交钩子: pip install -r requirements.txt pre-commit install 将所用 LLM 提供商的 API 密钥配置为环境变量 在配置文件中设置所需的模型和游戏参数 运行基准测试并可视化结果: python run_benchmark.py python scripts/visualize_results.py

在哪里获取 llm-bulls-and-cows-benchmark？

源代码和安装说明在 GitHub 上：https://github.com/stalkermustang/llm-bulls-and-cows-benchmark