Plataforma open source de engenharia de LLMs para rastrear, avaliar e gerenciar prompts, além de depurar aplicações com LLMs; pode ser hospedada na própria infraestrutura.
36,1 mil4 milTypeScriptOtherAtualizado há 4 horas
comet-ml/opik
Plataforma open source de observabilidade e avaliação de LLMs para rastrear agentes de IA, pontuar saídas de LLMs, gerenciar prompts e monitorar ambientes de produção.
Alternativa open source a:LangSmith
Braintrust
Weights & Biases
- Estrelas
- 22,764
- Forks
- 1,880
- Issues abertas
- 186
- Último commit
- há 4 horas
O que é?
Opik é uma plataforma para depurar, avaliar e monitorar aplicações com LLMs, sistemas RAG e agentes de IA com várias etapas. Ela registra traces de chamadas de LLM, execuções de ferramentas e chamadas de funções aninhadas, para que os desenvolvedores entendam o que aconteceu durante a execução de um agente. O SDK Python adiciona um decorador track que registra qualquer função, e as integrações abrangem vários frameworks e provedores de modelos, incluindo LangChain, LlamaIndex, OpenAI, Anthropic e OpenTelemetry.
Além do tracing, Opik oferece datasets e experimentos para avaliações sistemáticas, métricas de LLM-as-a-judge, como detecção de alucinações e relevância das respostas, e uma integração com PyTest para executar avaliações em CI/CD. Também inclui um playground de prompts, regras de avaliação online e dashboards com pontuações de feedback, contagem de traces e uso de tokens em produção.
A plataforma completa, incluindo o backend do servidor e a aplicação web, usa a licença Apache-2.0 e pode ser hospedada por conta própria com Docker Compose ou Kubernetes/Helm. As equipes também podem usar o serviço de nuvem hospedado Comet.com.
Recursos principais
- 01Rastreia chamadas de LLM, uso de ferramentas e chamadas de funções aninhadas em agentes com várias etapas.
- 02Executa datasets e experimentos com LLM-as-a-judge e métricas heurísticas.
- 03Integra avaliações ao CI/CD por meio de uma integração com PyTest.
- 04Gerencia e aprimora prompts em um playground integrado.
- 05Monitora pontuações de feedback, volume de traces e uso de tokens com regras de avaliação online.
- 06Hospeda a plataforma completa por conta própria com Docker Compose ou Kubernetes.
Casos de uso
- Depurar por que um agente de IA com várias etapas deu uma resposta errada, inspecionando sua árvore de traces.
- Executar avaliações de regressão em um pipeline RAG antes de cada lançamento.
- Monitorar pontuações de alucinação ou moderação em um chatbot em produção.
- Manter os dados de observabilidade de LLMs dentro da infraestrutura da própria empresa.
Início rápido
- 1
Instale o SDK do Python
pip install opik - 2
Configure o SDK
opik configure - 3
Envolva uma função com o decorator @track para começar a registrar traces
Antes de usar
- Para hospedar toda a plataforma por conta própria, é preciso executar a infraestrutura do servidor.
- O README indica o Opik Cloud como a opção de configuração mais simples, e alguns links de MCP e de badges direcionam para o Opik Cloud.
Tópicos
Perguntas frequentes
- O que é opik?
- Plataforma open source de observabilidade e avaliação de LLMs para rastrear agentes de IA, pontuar saídas de LLMs, gerenciar prompts e monitorar ambientes de produção. Opik é uma plataforma para depurar, avaliar e monitorar aplicações com LLMs, sistemas RAG e agentes de IA com várias etapas. Ela registra traces de chamadas de LLM, execuções de ferramentas e chamadas de funções aninhadas, para que os desenvolvedores entendam o que aconteceu durante a execução de um agente. O SDK Python adiciona um decorador track que registra qualquer função, e as integrações abrangem vários frameworks e provedores de modelos, incluindo LangChain, LlamaIndex, OpenAI, Anthropic e OpenTelemetry.
- opik é gratuito? Qual é a licença?
- opik é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- opik ainda é mantido?
- Manutenção ativa. O último commit de opik foi em 20 de out. de 2026.
- Para que posso usar opik?
- Depurar por que um agente de IA com várias etapas deu uma resposta errada, inspecionando sua árvore de traces. Executar avaliações de regressão em um pipeline RAG antes de cada lançamento. Monitorar pontuações de alucinação ou moderação em um chatbot em produção. Manter os dados de observabilidade de LLMs dentro da infraestrutura da própria empresa.
- Como instalar opik?
- Instale o SDK do Python: pip install opik Configure o SDK: opik configure Envolva uma função com o decorator @track para começar a registrar traces
- Onde consigo opik?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/comet-ml/opik
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um espaço de aprendizagem com IA, self-hosted e nativo para agentes, que oferece tutoria personalizada, perguntas e respostas, quizzes, pesquisa e visualizações, feito com Python e Next.js.
41,8 mil5,3 milPythonApache-2.0Atualizado há 19 horas
Framework Python open source para testes unitários de apps com LLM, com métricas para RAG, agentes, chatbots, agentes de voz e mais, na linha do Pytest.
19 mil2,1 milPythonApache-2.0Atualizado ontem
Curso da Microsoft com 21 aulas que ensina os fundamentos para criar aplicações de IA generativa com Python e TypeScript.
121,7 mil64,1 milJupyter NotebookMITAtualizado ontem
Plataforma visual para criar, testar e implantar agentes e workflows de IA, com exposição integrada por API e servidor MCP.
155,9 mil10,3 milPythonMITAtualizado há 6 horas
Um framework Python para criar aplicações e agentes com LLMs, com interfaces padronizadas para modelos, embeddings, vector stores e integrações de terceiros.
148,1 mil24,9 milPythonMITAtualizado há 5 horas