Repolode
Enviar
arthur-ai

arthur-ai/arthur-engine

Motor de código abierto para implementar guardrails, trazas, evaluación y monitoreo de aplicaciones de LLM e IA con agentes, además de monitoreo de modelos de ML.

Ver en GitHubSitio web
Estrellas
93
Forks
19
Issues abiertos
27
Último commit
hace 8 horas

¿Qué es?

Arthur Engine es un servicio para desarrollar, monitorear y gobernar cargas de trabajo de IA y ML. En aplicaciones de LLM y flujos de trabajo de IA generativa, aplica guardrails configurables que detectan la exposición de PII o datos confidenciales, las alucinaciones, los intentos de prompt injection y el lenguaje tóxico.

En aplicaciones con agentes, recopila y analiza trazas de OpenInference OpenTelemetry de flujos de trabajo con agentes y aplicaciones de LLM, ejecuta evaluaciones continuas sobre trazas en vivo y permite administrar y versionar prompts. También admite experimentos para comparar variantes de prompts y la evaluación integral de pipelines de generación aumentada por recuperación.

El proyecto también abarca el monitoreo y la evaluación comparativa de ML tradicional, incluidas la deriva, la exactitud, la precisión, la recuperación, F1 y AUC, aunque esta parte requiere Arthur Platform. Las métricas personalizadas y una API extensible permiten integrarlo en arquitecturas de aplicaciones existentes.

Funciones clave

  • 01Guardrails en tiempo real para detectar la exposición de PII, alucinaciones, prompt injection y lenguaje tóxico
  • 02Recopila trazas de OpenInference OpenTelemetry de flujos de trabajo con agentes y aplicaciones de LLM
  • 03Ejecuta evaluaciones continuas sobre trazas en vivo para detectar regresiones de calidad
  • 04Administración de prompts con control de versiones y experimentos con variantes
  • 05Evaluación integral de pipelines de RAG
  • 06Métricas personalizadas y una API extensible

Casos de uso

  • Añadir guardrails a una aplicación de LLM para bloquear la exposición de datos confidenciales o los intentos de prompt injection
  • Trazar y evaluar un agente de varios pasos para detectar regresiones de calidad
  • Comparar variantes de prompts y medir su efecto en las métricas de calidad
  • Monitorear la deriva y la exactitud de modelos de ML tradicional en producción

Inicio rápido

  1. 1

    Ejecuta el instalador del motor para macOS indicado en el README (ejecuta manualmente el script de instalación oficial).

  2. 2

    Ejecuta el instalador del motor para Windows indicado en el README (ejecuta manualmente el script de instalación oficial).

  3. 3

    Instrumenta tus agentes siguiendo los ejemplos de la carpeta genai-engine/examples.

Antes de usarlo

  • La supervisión de modelos de ML requiere Arthur Platform.
  • Para usar todas las funciones de la plataforma, como los paneles personalizados y las alertas, es necesario registrarse en Arthur Platform.
  • La configuración requiere ejecutar un script instalador en lugar de instalar mediante un gestor de paquetes estándar.

En colecciones

Plataformas de OpenTelemetry y observabilidad

Temas

#llm#guardrails#observability#evaluation#tracing#agentic#monitoring#opentelemetry#benchmarking#genai

Preguntas frecuentes

¿Qué es arthur-engine?
Motor de código abierto para implementar guardrails, trazas, evaluación y monitoreo de aplicaciones de LLM e IA con agentes, además de monitoreo de modelos de ML. Arthur Engine es un servicio para desarrollar, monitorear y gobernar cargas de trabajo de IA y ML. En aplicaciones de LLM y flujos de trabajo de IA generativa, aplica guardrails configurables que detectan la exposición de PII o datos confidenciales, las alucinaciones, los intentos de prompt injection y el lenguaje tóxico.
¿arthur-engine es gratuito? ¿Qué licencia tiene?
arthur-engine es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿arthur-engine sigue mantenido?
Mantenimiento activo. El último commit de arthur-engine fue el 6 nov 2026.
¿Para qué puedo usar arthur-engine?
Añadir guardrails a una aplicación de LLM para bloquear la exposición de datos confidenciales o los intentos de prompt injection Trazar y evaluar un agente de varios pasos para detectar regresiones de calidad Comparar variantes de prompts y medir su efecto en las métricas de calidad Monitorear la deriva y la exactitud de modelos de ML tradicional en producción
¿Cómo se instala arthur-engine?
Ejecuta el instalador del motor para macOS indicado en el README (ejecuta manualmente el script de instalación oficial). Ejecuta el instalador del motor para Windows indicado en el README (ejecuta manualmente el script de instalación oficial). Instrumenta tus agentes siguiendo los ejemplos de la carpeta genai-engine/examples.
¿Dónde consigo arthur-engine?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/arthur-ai/arthur-engine

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados