エージェントのトレース、ツール呼び出し、トークン使用量、コストをOpikに送信し、可観測性を実現するOpenClaw公式プラグイン。
arthur-ai/arthur-engine
LLM・エージェント型AIアプリケーションのガードレール、トレース、評価、監視と、MLモデル監視のためのオープンソースエンジン。
- スター
- 93
- フォーク
- 19
- 未解決の Issue
- 27
- 最終コミット
- 18 時間前
これは何?
Arthur Engineは、AIおよびMLのワークロードを開発・監視・統制するためのサービスです。LLMアプリケーションや生成AIワークフロー向けに、PIIや機密データの漏洩、ハルシネーション、プロンプトインジェクションの試み、有害な言語表現を検出する、設定可能なガードレールを適用します。
エージェント型アプリケーションでは、エージェントのワークフローやLLMアプリからOpenInference OpenTelemetryトレースを収集・分析し、稼働中のトレースを継続的に評価するとともに、プロンプトの管理やバージョン管理を行います。また、プロンプトのバリエーションを比較する実験や、検索拡張生成(RAG)パイプラインのエンドツーエンド評価にも対応しています。
従来型のML監視やベンチマークにも対応しており、ドリフト、正解率、適合率、再現率、F1、AUCなどを扱えますが、この機能にはArthur Platformが必要です。カスタムメトリクスと拡張可能なAPIにより、既存のアプリケーションアーキテクチャにも組み込めます。
主な機能
- 01PII漏洩、ハルシネーション、プロンプトインジェクション、有害な言語表現に対するリアルタイムのガードレール
- 02エージェント型ワークフローやLLMアプリからOpenInference OpenTelemetryトレースを収集
- 03稼働中のトレースを継続的に評価し、品質の低下を検出
- 04バージョン管理やバリエーションの実験に対応したプロンプト管理
- 05RAGパイプラインのエンドツーエンド評価
- 06カスタムメトリクスと拡張可能なAPI
ユースケース
- LLMアプリケーションにガードレールを導入し、機密データの漏洩やプロンプトインジェクションを防ぐ
- 複数ステップのエージェントをトレース・評価し、品質の低下を検出する
- プロンプトのバリエーションを比較し、品質指標への影響を測定する
- 本番環境で従来型MLモデルのドリフトや正解率を監視する
クイックスタート
- 1
README にある macOS 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行)
- 2
README にある Windows 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行)
- 3
genai-engine/examples フォルダーの例に従ってエージェントを計測する
使う前に知っておきたいこと
- ML モデルのモニタリングには Arthur Platform が必要です。
- カスタムダッシュボードやアラートなど、プラットフォームの全機能を利用するには Arthur Platform へのサインアップが必要です。
- セットアップでは、標準的なパッケージマネージャーによるインストールではなく、インストーラースクリプトを実行します。
収録されている特集
トピック
よくある質問
- arthur-engine とは?
- LLM・エージェント型AIアプリケーションのガードレール、トレース、評価、監視と、MLモデル監視のためのオープンソースエンジン。 Arthur Engineは、AIおよびMLのワークロードを開発・監視・統制するためのサービスです。LLMアプリケーションや生成AIワークフロー向けに、PIIや機密データの漏洩、ハルシネーション、プロンプトインジェクションの試み、有害な言語表現を検出する、設定可能なガードレールを適用します。
- arthur-engine は無料で使えますか?ライセンスは?
- arthur-engine は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- arthur-engine は今もメンテナンスされていますか?
- 活発にメンテナンス中。arthur-engine の最終コミットは 2026年11月6日 です。
- arthur-engine は何に使えますか?
- LLMアプリケーションにガードレールを導入し、機密データの漏洩やプロンプトインジェクションを防ぐ 複数ステップのエージェントをトレース・評価し、品質の低下を検出する プロンプトのバリエーションを比較し、品質指標への影響を測定する 本番環境で従来型MLモデルのドリフトや正解率を監視する
- arthur-engine のインストール方法は?
- README にある macOS 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行) README にある Windows 用のエンジンインストーラーを実行する(公式インストールスクリプトを手動で実行) genai-engine/examples フォルダーの例に従ってエージェントを計測する
- arthur-engine はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/arthur-ai/arthur-engine
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PythonアプリのLLM呼び出し、ベクトルDBクエリ、エージェントフレームワークをトレースする、OpenTelemetryベースのオープンソース監視拡張機能。
Jaegerは、マイクロサービス間のリクエストを監視・トラブルシューティングするための、CNCF卒業済み分散トレーシングプラットフォームです。
ClickHouse上でログ、トレース、メトリクス、セッションリプレイ、エラーを検索・可視化できるオープンソースのオブザーバビリティプラットフォーム。
トレース、メトリクス、ログを受信・処理し、複数の監視バックエンドにエクスポートするベンダー非依存のサービス。
ホストからメトリクス、ログ、トレース、プロファイルを収集し、Datadogプラットフォームに送信するDatadogのオープンソースエージェントです。