Repolode
arthur-ai

arthur-ai/arthur-engine

LLM・エージェント型AIアプリケーションのガードレール、トレース、評価、監視と、MLモデル監視のためのオープンソースエンジン。

スター
93
フォーク
19
未解決の Issue
27
最終コミット
18 時間前

これは何?

Arthur Engineは、AIおよびMLのワークロードを開発・監視・統制するためのサービスです。LLMアプリケーションや生成AIワークフロー向けに、PIIや機密データの漏洩、ハルシネーション、プロンプトインジェクションの試み、有害な言語表現を検出する、設定可能なガードレールを適用します。

エージェント型アプリケーションでは、エージェントのワークフローやLLMアプリからOpenInference OpenTelemetryトレースを収集・分析し、稼働中のトレースを継続的に評価するとともに、プロンプトの管理やバージョン管理を行います。また、プロンプトのバリエーションを比較する実験や、検索拡張生成(RAG)パイプラインのエンドツーエンド評価にも対応しています。

従来型のML監視やベンチマークにも対応しており、ドリフト、正解率、適合率、再現率、F1、AUCなどを扱えますが、この機能にはArthur Platformが必要です。カスタムメトリクスと拡張可能なAPIにより、既存のアプリケーションアーキテクチャにも組み込めます。

主な機能

  • 01PII漏洩、ハルシネーション、プロンプトインジェクション、有害な言語表現に対するリアルタイムのガードレール
  • 02エージェント型ワークフローやLLMアプリからOpenInference OpenTelemetryトレースを収集
  • 03稼働中のトレースを継続的に評価し、品質の低下を検出
  • 04バージョン管理やバリエーションの実験に対応したプロンプト管理
  • 05RAGパイプラインのエンドツーエンド評価
  • 06カスタムメトリクスと拡張可能なAPI

ユースケース

  • LLMアプリケーションにガードレールを導入し、機密データの漏洩やプロンプトインジェクションを防ぐ
  • 複数ステップのエージェントをトレース・評価し、品質の低下を検出する
  • プロンプトのバリエーションを比較し、品質指標への影響を測定する
  • 本番環境で従来型MLモデルのドリフトや正解率を監視する

クイックスタート

  1. 1

    README にある macOS 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行)

  2. 2

    README にある Windows 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行)

  3. 3

    genai-engine/examples フォルダーの例に従ってエージェントを計測する

使う前に知っておきたいこと

  • ML モデルのモニタリングには Arthur Platform が必要です。
  • カスタムダッシュボードやアラートなど、プラットフォームの全機能を利用するには Arthur Platform へのサインアップが必要です。
  • セットアップでは、標準的なパッケージマネージャーによるインストールではなく、インストーラースクリプトを実行します。

収録されている特集

トピック

よくある質問

arthur-engine とは?
LLM・エージェント型AIアプリケーションのガードレール、トレース、評価、監視と、MLモデル監視のためのオープンソースエンジン。 Arthur Engineは、AIおよびMLのワークロードを開発・監視・統制するためのサービスです。LLMアプリケーションや生成AIワークフロー向けに、PIIや機密データの漏洩、ハルシネーション、プロンプトインジェクションの試み、有害な言語表現を検出する、設定可能なガードレールを適用します。
arthur-engine は無料で使えますか?ライセンスは?
arthur-engine は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
arthur-engine は今もメンテナンスされていますか?
活発にメンテナンス中。arthur-engine の最終コミットは 2026年11月6日 です。
arthur-engine は何に使えますか?
LLMアプリケーションにガードレールを導入し、機密データの漏洩やプロンプトインジェクションを防ぐ 複数ステップのエージェントをトレース・評価し、品質の低下を検出する プロンプトのバリエーションを比較し、品質指標への影響を測定する 本番環境で従来型MLモデルのドリフトや正解率を監視する
arthur-engine のインストール方法は?
README にある macOS 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行) README にある Windows 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行) genai-engine/examples フォルダーの例に従ってエージェントを計測する
arthur-engine はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/arthur-ai/arthur-engine

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト