Repolode
Enviar
arthur-ai

arthur-ai/arthur-engine

Engine open source para guardrails, tracing, avaliação e monitoramento de aplicações com LLMs e IA agêntica, além de monitoramento de modelos de ML.

Ver no GitHubSite
Estrelas
93
Forks
19
Issues abertas
27
Último commit
há 21 horas

O que é?

O Arthur Engine é um serviço para desenvolver, monitorar e governar workloads de IA e ML. Em aplicações com LLMs e workflows de IA generativa, ele aplica guardrails configuráveis que detectam vazamento de PII ou dados confidenciais, alucinações, tentativas de prompt injection e linguagem tóxica.

Em aplicações agênticas, ele coleta e analisa traces OpenTelemetry do OpenInference gerados por workflows de agentes e aplicações com LLMs, executa avaliações contínuas em traces em produção e gerencia prompts e suas versões. Também oferece suporte a experimentos para comparar variantes de prompts e à avaliação de ponta a ponta de pipelines de geração aumentada por recuperação (RAG).

O projeto também abrange monitoramento e benchmarking de ML tradicional, incluindo drift, acurácia, precisão, recall, F1 e AUC, embora essa parte exija o Arthur Platform. Métricas personalizadas e uma API extensível permitem integrá-lo a arquiteturas de aplicações existentes.

Recursos principais

  • 01Guardrails em tempo real contra vazamento de PII, alucinações, prompt injection e linguagem tóxica
  • 02Coleta traces OpenTelemetry do OpenInference de workflows agênticos e aplicações com LLMs
  • 03Executa avaliações contínuas em traces em produção para detectar regressões de qualidade
  • 04Gerenciamento de prompts com versionamento e experimentos de variantes
  • 05Avaliação de ponta a ponta de pipelines de RAG
  • 06Métricas personalizadas e API extensível

Casos de uso

  • Adicionar guardrails a uma aplicação com LLM para bloquear vazamentos de dados confidenciais ou prompt injection
  • Rastrear e avaliar um agente com várias etapas para detectar regressões de qualidade
  • Comparar variantes de prompts e medir seus efeitos nas métricas de qualidade
  • Monitorar drift e acurácia de modelos tradicionais de ML em produção

Início rápido

  1. 1

    Execute o instalador do engine para macOS indicado no README (execute manualmente o script oficial de instalação).

  2. 2

    Execute o instalador do engine para Windows indicado no README (execute manualmente o script oficial de instalação).

  3. 3

    Instrumente seus agentes seguindo os exemplos na pasta genai-engine/examples.

Antes de usar

  • O monitoramento de modelos de ML requer o Arthur Platform.
  • Para usar todos os recursos da plataforma, como dashboards personalizados e alertas, é necessário se cadastrar no Arthur Platform.
  • A configuração depende da execução de um script instalador, em vez de uma instalação por um gerenciador de pacotes padrão.

Em coleções

Plataformas de OpenTelemetry e observabilidade

Tópicos

#llm#guardrails#observability#evaluation#tracing#agentic#monitoring#opentelemetry#benchmarking#genai

Perguntas frequentes

O que é arthur-engine?
Engine open source para guardrails, tracing, avaliação e monitoramento de aplicações com LLMs e IA agêntica, além de monitoramento de modelos de ML. O Arthur Engine é um serviço para desenvolver, monitorar e governar workloads de IA e ML. Em aplicações com LLMs e workflows de IA generativa, ele aplica guardrails configuráveis que detectam vazamento de PII ou dados confidenciais, alucinações, tentativas de prompt injection e linguagem tóxica.
arthur-engine é gratuito? Qual é a licença?
arthur-engine é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
arthur-engine ainda é mantido?
Manutenção ativa. O último commit de arthur-engine foi em 6 de nov. de 2026.
Para que posso usar arthur-engine?
Adicionar guardrails a uma aplicação com LLM para bloquear vazamentos de dados confidenciais ou prompt injection Rastrear e avaliar um agente com várias etapas para detectar regressões de qualidade Comparar variantes de prompts e medir seus efeitos nas métricas de qualidade Monitorar drift e acurácia de modelos tradicionais de ML em produção
Como instalar arthur-engine?
Execute o instalador do engine para macOS indicado no README (execute manualmente o script oficial de instalação). Execute o instalador do engine para Windows indicado no README (execute manualmente o script oficial de instalação). Instrumente seus agentes seguindo os exemplos na pasta genai-engine/examples.
Onde consigo arthur-engine?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/arthur-ai/arthur-engine

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados