comet-ml/opik

Что это?

Ключевые возможности

• 01Отслеживайте вызовы LLM, использование инструментов и вложенные вызовы функций в многошаговых агентах.
• 02Запускайте датасеты и эксперименты с метриками LLM-as-a-judge и эвристическими метриками.
• 03Встраивайте оценку в CI/CD с помощью интеграции с PyTest.
• 04Управляйте промптами и дорабатывайте их во встроенном playground.
• 05Отслеживайте оценки обратной связи, объём трасс и расход токенов с помощью правил онлайн-оценки.
• 06Разворачивайте всю платформу на собственных ресурсах с помощью Docker Compose или Kubernetes.

Сценарии использования

• Разбор причин неверного ответа многошагового AI-агента с помощью дерева трассировки.
• Запуск регрессионной оценки RAG-пайплайна перед каждым релизом.
• Мониторинг оценок галлюцинаций или модерации в production-чатботе.
• Хранение данных наблюдаемости LLM в собственной инфраструктуре компании.

Быстрый старт

1. 1

   Установите Python SDK

   pip install opik
2. 2

   Настройте SDK

   opik configure
3. 3

   Оберните функцию декоратором @track, чтобы начать записывать трассировки

Что важно знать

• !Для самостоятельного размещения всей платформы необходимо самостоятельно запускать серверную инфраструктуру.
• !В README Opik Cloud указан как самый простой способ настройки, а некоторые ссылки MCP и ссылки на значки ведут на Opik Cloud.

Темы

Частые вопросы

Что такое opik?

Open-source платформа для наблюдаемости и оценки LLM: трассировка AI-агентов, оценка ответов, управление промптами и мониторинг в production. Opik — платформа для отладки, оценки и мониторинга LLM-приложений, RAG-систем и многошаговых AI-агентов. Она записывает трассы вызовов LLM, выполнения инструментов и вложенных вызовов функций, чтобы разработчики могли увидеть, что происходило во время работы агента. Python SDK предоставляет декоратор track для логирования любых функций, а интеграции поддерживают множество фреймворков и провайдеров моделей, включая LangChain, LlamaIndex, OpenAI, Anthropic и OpenTelemetry.

opik можно использовать бесплатно? Какая у него лицензия?

opik распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

opik всё ещё поддерживается?

Активно поддерживается. Последний коммит в opik — 20 окт. 2026 г..

Для чего можно использовать opik?

Разбор причин неверного ответа многошагового AI-агента с помощью дерева трассировки. Запуск регрессионной оценки RAG-пайплайна перед каждым релизом. Мониторинг оценок галлюцинаций или модерации в production-чатботе. Хранение данных наблюдаемости LLM в собственной инфраструктуре компании.

Как установить opik?

Установите Python SDK: pip install opik Настройте SDK: opik configure Оберните функцию декоратором @track, чтобы начать записывать трассировки

Где скачать opik?

Исходный код и инструкции по установке — на GitHub: https://github.com/comet-ml/opik