Open source проекты по теме «evaluation-framework»

Единый фреймворк для few-shot-оценки языковых моделей на десятках стандартных академических бенчмарков.

Открытый Python-фреймворк для модульного тестирования приложений на базе LLM: метрики для RAG, агентов, чат-ботов, голосовых агентов и многого другого — в духе Pytest.

CLI и библиотека для оценки промптов и red teaming LLM-приложений с помощью декларативных конфигов и интеграции с CI/CD.