Repolode
제출하기
arthur-ai

arthur-ai/arthur-engine

LLM 및 에이전트형 AI 애플리케이션의 가드레일, 트레이싱, 평가와 모니터링은 물론 ML 모델 모니터링을 지원하는 오픈소스 엔진입니다.

GitHub에서 보기웹사이트
스타
93
포크
19
열린 이슈
27
마지막 커밋
10시간 전

어떤 프로젝트인가요?

Arthur Engine은 AI 및 ML 워크로드를 개발하고 모니터링하며 관리하는 서비스입니다. LLM 애플리케이션과 생성형 AI 워크플로에서는 설정 가능한 가드레일을 적용해 PII나 민감 데이터 유출, 환각, 프롬프트 인젝션 시도, 유해한 언어를 감지합니다.

에이전트형 애플리케이션에서는 에이전트 워크플로와 LLM 앱의 OpenInference OpenTelemetry 트레이스를 수집하고 분석하며, 실시간 트레이스를 지속적으로 평가하고 프롬프트를 관리하고 버전 관리합니다. 프롬프트 변형을 비교하는 실험과 검색 증강 생성 파이프라인의 엔드투엔드 평가도 지원합니다.

이 프로젝트는 드리프트, 정확도, 정밀도, 재현율, F1, AUC 등을 포함한 기존 ML 모니터링과 벤치마킹도 다루지만, 이 기능에는 Arthur Platform이 필요합니다. 사용자 지정 메트릭과 확장 가능한 API를 통해 기존 애플리케이션 아키텍처에 통합할 수 있습니다.

핵심 기능

  • 01PII 유출, 환각, 프롬프트 인젝션, 유해한 언어를 실시간으로 감지하는 가드레일
  • 02에이전트형 워크플로와 LLM 앱의 OpenInference OpenTelemetry 트레이스 수집
  • 03실시간 트레이스를 지속적으로 평가해 품질 저하 감지
  • 04버전 관리와 변형 실험을 지원하는 프롬프트 관리
  • 05RAG 파이프라인의 엔드투엔드 평가
  • 06사용자 지정 메트릭과 확장 가능한 API

활용 사례

  • 민감 데이터 유출이나 프롬프트 인젝션을 차단하도록 LLM 애플리케이션에 가드레일 추가
  • 다단계 에이전트를 트레이싱하고 평가해 품질 저하 감지
  • 프롬프트 변형을 비교하고 품질 메트릭에 미치는 영향 측정
  • 프로덕션 환경에서 기존 ML 모델의 드리프트와 정확도 모니터링

빠른 시작

  1. 1

    README에 있는 macOS용 엔진 설치 프로그램을 실행하세요(공식 설치 스크립트를 직접 실행).

  2. 2

    README에 있는 Windows용 엔진 설치 프로그램을 실행하세요(공식 설치 스크립트를 직접 실행).

  3. 3

    genai-engine/examples 폴더의 예제를 따라 에이전트를 계측하세요.

사용 전 알아둘 점

  • ML 모델 모니터링에는 Arthur Platform이 필요합니다.
  • 맞춤 대시보드와 알림 등 플랫폼의 모든 기능을 사용하려면 Arthur Platform에 가입해야 합니다.
  • 설치 과정에서 표준 패키지 관리자를 사용하는 대신 설치 스크립트를 실행해야 합니다.

포함된 컬렉션

OpenTelemetry 및 옵저버빌리티 플랫폼

토픽

#llm#guardrails#observability#evaluation#tracing#agentic#monitoring#opentelemetry#benchmarking#genai

자주 묻는 질문

arthur-engine은(는) 무엇인가요?
LLM 및 에이전트형 AI 애플리케이션의 가드레일, 트레이싱, 평가와 모니터링은 물론 ML 모델 모니터링을 지원하는 오픈소스 엔진입니다. Arthur Engine은 AI 및 ML 워크로드를 개발하고 모니터링하며 관리하는 서비스입니다. LLM 애플리케이션과 생성형 AI 워크플로에서는 설정 가능한 가드레일을 적용해 PII나 민감 데이터 유출, 환각, 프롬프트 인젝션 시도, 유해한 언어를 감지합니다.
arthur-engine은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
arthur-engine은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
arthur-engine은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. arthur-engine의 마지막 커밋은 2026년 11월 6일입니다.
arthur-engine은(는) 어디에 사용할 수 있나요?
민감 데이터 유출이나 프롬프트 인젝션을 차단하도록 LLM 애플리케이션에 가드레일 추가 다단계 에이전트를 트레이싱하고 평가해 품질 저하 감지 프롬프트 변형을 비교하고 품질 메트릭에 미치는 영향 측정 프로덕션 환경에서 기존 ML 모델의 드리프트와 정확도 모니터링
arthur-engine는 어떻게 설치하나요?
README에 있는 macOS용 엔진 설치 프로그램을 실행하세요(공식 설치 스크립트를 직접 실행). README에 있는 Windows용 엔진 설치 프로그램을 실행하세요(공식 설치 스크립트를 직접 실행). genai-engine/examples 폴더의 예제를 따라 에이전트를 계측하세요.
arthur-engine은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/arthur-ai/arthur-engine

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트