Repolode
Предложить
open-compass

open-compass/opencompass

Платформа с открытым исходным кодом для комплексной оценки больших языковых моделей на 100+ наборах данных с использованием множества провайдеров моделей и бэкендов инференса.

Открыть на GitHubСайт
Звёзды
7,531
Форки
888
Открытые issues
376
Последний коммит
3 часа назад

Что это?

OpenCompass — платформа для бенчмаркинга больших языковых моделей. Она поддерживает модели таких провайдеров, как OpenAI, Anthropic, Gemini, Qwen, GLM и DeepSeek, а также локальные модели с открытым исходным кодом. Платформа охватывает более 100 наборов данных по знаниям, рассуждениям, программированию, науке, языкам, длинному контексту и безопасности.

Проект обеспечивает полный цикл работы: настройку наборов данных и моделей, инференс, оценку и сводку результатов. Инференс можно запускать через бэкенды HuggingFace, LMDeploy или vLLM, а для оценки доступны методы zero-shot, few-shot, chain-of-thought, на основе правил и LLM-as-judge. Разбиение задач, параллельное и распределённое выполнение позволяют масштабировать работу под разные нагрузки.

OpenCompass также интегрируется с VLMEvalKit, чтобы запускать текстовые и мультимодальные наборы данных в рамках одного процесса. Новые модели, наборы данных, оценщики и бэкенды инференса можно добавлять через точки расширения.

Ключевые возможности

  • 01Поддерживает API-модели, например OpenAI, Anthropic Claude и Google Gemini, а также локальные модели с открытым исходным кодом.
  • 02Охватывает более 100 наборов данных по знаниям, рассуждениям, программированию, науке, длинному контексту и безопасности.
  • 03Запускает инференс через бэкенды HuggingFace, LMDeploy или vLLM.
  • 04Предлагает оценщики на основе правил, LLM-as-judge и проверки математических ответов.
  • 05Поддерживает разбиение задач, параллельное и распределённое выполнение.
  • 06Интегрируется с VLMEvalKit для оценки на мультимодальных наборах данных.

Сценарии использования

  • Сравнение нескольких моделей LLM с открытым исходным кодом или API-моделей на общем наборе бенчмарков.
  • Воспроизводимая оценка модели в процессе разработки или тонкой настройки.
  • Оценка мультимодальных моделей на текстовых и мультимодальных бенчмарках в рамках одного процесса.

Быстрый старт

  1. 1

    Создайте окружение conda с Python 3.12

    conda create --name opencompass python=3.12 -y
  2. 2

    Активируйте окружение

    conda activate opencompass
  3. 3

    Установите OpenCompass с помощью pip

    pip install -U opencompass
  4. 4

    Прочитайте руководство по быстрому старту в документации, чтобы выполнить первую оценку

Что важно знать

  • Для некоторых наборов данных (генерация кода APPS, TACO и LiveCodeBench) требуется Python 3.10 из-за зависимости pyext.
  • Бэкенды инференса, такие как LMDeploy и vLLM, необходимо устанавливать отдельно из-за конфликтов зависимостей.

Темы

#llm-evaluation#benchmark#large-language-model#inference#evaluation-framework#evaluation#llm#llm-eval

Частые вопросы

Что такое opencompass?
Платформа с открытым исходным кодом для комплексной оценки больших языковых моделей на 100+ наборах данных с использованием множества провайдеров моделей и бэкендов инференса. OpenCompass — платформа для бенчмаркинга больших языковых моделей. Она поддерживает модели таких провайдеров, как OpenAI, Anthropic, Gemini, Qwen, GLM и DeepSeek, а также локальные модели с открытым исходным кодом. Платформа охватывает более 100 наборов данных по знаниям, рассуждениям, программированию, науке, языкам, длинному контексту и безопасности.
opencompass можно использовать бесплатно? Какая у него лицензия?
opencompass распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
opencompass всё ещё поддерживается?
Активно поддерживается. Последний коммит в opencompass — 21 окт. 2026 г..
Для чего можно использовать opencompass?
Сравнение нескольких моделей LLM с открытым исходным кодом или API-моделей на общем наборе бенчмарков. Воспроизводимая оценка модели в процессе разработки или тонкой настройки. Оценка мультимодальных моделей на текстовых и мультимодальных бенчмарках в рамках одного процесса.
Как установить opencompass?
Создайте окружение conda с Python 3.12: conda create --name opencompass python=3.12 -y Активируйте окружение: conda activate opencompass Установите OpenCompass с помощью pip: pip install -U opencompass Прочитайте руководство по быстрому старту в документации, чтобы выполнить первую оценку
Где скачать opencompass?
Исходный код и инструкции по установке — на GitHub: https://github.com/open-compass/opencompass

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты