modelscope/evalscope

Что это?

Ключевые возможности

• 01Запускает встроенные бенчмарки, например MMLU, C-Eval и GSM8K, одной командой.
• 02Оценивает совместимые с OpenAI API эндпоинты и локальные модели, скачанные с ModelScope.
• 03Нагрузочно тестирует сервисы моделей и показывает TTFT, TPOT и пропускную способность.
• 04Предоставляет веб-дашборд для сравнения моделей и просмотра предсказаний.
• 05Поддерживает попарные состязания в стиле Arena с подсчётом побед и составлением рейтинга.
• 06Позволяет разработчикам добавлять собственные датасеты, модели и метрики.

Сценарии использования

• Сравнить несколько LLM-кандидатов на одном бенчмарке перед выбором модели.
• Измерить задержку и пропускную способность развернутого сервиса модели под нагрузкой.
• Проверить, соответствует ли стороннее API-развертывание поведению официальной модели.
• Оценить дообученную модель на приватном датасете в собственном формате.

Быстрый старт

1. 1

   Установите пакет EvalScope из PyPI

   pip install evalscope
2. 2

   Запустите оценку с помощью API модели, совместимого с OpenAI (сначала укажите endpoint и ключ)

   evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

Что важно знать

• !Для примера быстрого старта нужны endpoint API модели, совместимого с OpenAI, и ключ API.
• !Для оценки агентов на изолированных бенчмарках, таких как SWE-bench, требуется Docker.
• !Для проекта требуется Python версии 3.10 или новее.

Темы

Частые вопросы

Что такое evalscope?

Настраиваемый фреймворк для оценки LLM, VLM и AIGC-моделей на бенчмарках, нагрузочного тестирования производительности инференса и просмотра результатов на дашборде. EvalScope — фреймворк для оценки больших языковых и других генеративных моделей. Он запускает встроенные бенчмарки, например MMLU, C-Eval и GSM8K, на совместимом с OpenAI API эндпоинте или локальной модели, скачанной с ModelScope, и выводит результаты в терминал. Помимо точности, EvalScope включает инструмент нагрузочного тестирования, который измеряет пропускную способность, время до первого токена (TTFT) и время генерации токена (TPOT) для сервисов моделей.

evalscope можно использовать бесплатно? Какая у него лицензия?

evalscope распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

evalscope всё ещё поддерживается?

Активно поддерживается. Последний коммит в evalscope — 21 окт. 2026 г..

Для чего можно использовать evalscope?

Сравнить несколько LLM-кандидатов на одном бенчмарке перед выбором модели. Измерить задержку и пропускную способность развернутого сервиса модели под нагрузкой. Проверить, соответствует ли стороннее API-развертывание поведению официальной модели. Оценить дообученную модель на приватном датасете в собственном формате.

Как установить evalscope?

Установите пакет EvalScope из PyPI: pip install evalscope Запустите оценку с помощью API модели, совместимого с OpenAI (сначала укажите endpoint и ключ): evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

Где скачать evalscope?

Исходный код и инструкции по установке — на GitHub: https://github.com/modelscope/evalscope