evalscope 可以免费使用吗？用的什么许可证？

evalscope 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

evalscope 还在维护吗？

活跃维护中。evalscope 最近一次提交是在 2026年10月21日。

evalscope 适合用来做什么？

在相同基准上对比多个候选大模型，辅助选型。在压力下测量模型服务部署的延迟和吞吐量。验证第三方 API 部署的模型表现是否与官方模型一致。使用自定义格式的私有数据集评测微调后的模型。

evalscope 怎么安装和运行？

从 PyPI 安装 EvalScope 包: pip install evalscope 使用 OpenAI 兼容的模型 API 运行评测（请先设置端点和密钥）: evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

在哪里获取 evalscope？

源代码和安装说明在 GitHub 上：https://github.com/modelscope/evalscope

modelscope/evalscope

一个可定制的大模型评测框架，覆盖 LLM、VLM 和 AIGC 模型的基准评测与推理性能压测。

在 GitHub 查看官网

Star: 3,571
Fork: 531
未关闭 Issue: 10
最近提交: 5小时前

这是什么？

EvalScope 是一个用于评测大语言模型及其他生成式模型的框架。它可以对 OpenAI API 兼容的服务或从 ModelScope 下载的本地模型运行 MMLU、C-Eval、GSM8K 等内置基准，并在终端输出分数。除准确率外，它还提供压测工具，用于测量模型服务的吞吐量、首 token 延迟（TTFT）和每 token 生成耗时（TPOT）。

项目同时支持多模态模型、Embedding 与 Reranker 模型，以及在多轮 Agent 循环中运行的智能体基准，可选 Docker 沙箱环境。评测结果可在 Web 仪表盘中进行多模型对比；Arena 模式则通过两两对战对模型进行排名。OpenCompass、VLMEvalKit、RAGEval 等第三方后端也可以通过同一入口启动。

评测任务可通过命令行、Python API 或 YAML/JSON 配置文件发起，开发者也可以添加自定义数据集、模型和指标。

核心功能

01通过一条命令运行 MMLU、C-Eval、GSM8K 等内置评测基准。
02支持评测 OpenAI API 兼容的服务以及从 ModelScope 下载的本地模型。
03对模型服务进行压测，输出 TTFT、TPOT 和吞吐量等指标。
04提供 Web 仪表盘，用于多模型对比和预测结果查看。
05支持两两对战的 Arena 模式，给出胜率与排名。
06允许开发者添加自定义数据集、模型和评测指标。

适用场景

在相同基准上对比多个候选大模型，辅助选型。
在压力下测量模型服务部署的延迟和吞吐量。
验证第三方 API 部署的模型表现是否与官方模型一致。
使用自定义格式的私有数据集评测微调后的模型。

快速上手

1
从 PyPI 安装 EvalScope 包
pip install evalscope
2
使用 OpenAI 兼容的模型 API 运行评测（请先设置端点和密钥）
evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

使用前须知

快速开始示例需要一个 OpenAI 兼容的模型 API 端点和 API 密钥。
基于沙箱的智能体评测（如 SWE-bench）需要 Docker。
该项目要求 Python 3.10 或更高版本。

常见问题

evalscope 是什么？: 一个可定制的大模型评测框架，覆盖 LLM、VLM 和 AIGC 模型的基准评测与推理性能压测。 EvalScope 是一个用于评测大语言模型及其他生成式模型的框架。它可以对 OpenAI API 兼容的服务或从 ModelScope 下载的本地模型运行 MMLU、C-Eval、GSM8K 等内置基准，并在终端输出分数。除准确率外，它还提供压测工具，用于测量模型服务的吞吐量、首 token 延迟（TTFT）和每 token 生成耗时（TPOT）。
evalscope 可以免费使用吗？用的什么许可证？: evalscope 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
evalscope 还在维护吗？: 活跃维护中。evalscope 最近一次提交是在 2026年10月21日。
evalscope 适合用来做什么？: 在相同基准上对比多个候选大模型，辅助选型。在压力下测量模型服务部署的延迟和吞吐量。验证第三方 API 部署的模型表现是否与官方模型一致。使用自定义格式的私有数据集评测微调后的模型。
evalscope 怎么安装和运行？: 从 PyPI 安装 EvalScope 包: pip install evalscope 使用 OpenAI 兼容的模型 API 运行评测（请先设置端点和密钥）: evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
在哪里获取 evalscope？: 源代码和安装说明在 GitHub 上：https://github.com/modelscope/evalscope

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。