Repolode
提交项目
arthur-ai

arthur-ai/arthur-engine

开源的 LLM 与智能体应用护栏、追踪、评估与监控引擎，也支持机器学习模型监控。

在 GitHub 查看官网
Star
93
Fork
19
未关闭 Issue
27
最近提交
18小时前

这是什么？

Arthur Engine 是一个用于开发、监控和治理 AI 与机器学习工作负载的服务。对于 LLM 应用和生成式 AI 工作流，它可以通过可配置的护栏实时检测 PII 或敏感数据泄露、幻觉、提示词注入和有毒语言。

针对智能体应用，它能收集并分析智能体工作流和 LLM 应用产生的 OpenInference OpenTelemetry 追踪数据，对线上追踪进行持续评估，并管理与版本化提示词。它还支持比较提示词变体效果的实验，以及对检索增强生成（RAG）流程的端到端评估。

项目同时覆盖传统机器学习模型的监控与基准测试，包括漂移、准确率、精确率、召回率、F1 和 AUC 等指标，但这部分功能需要 Arthur Platform。自定义指标和可扩展 API 使其便于融入现有应用架构。

核心功能

  • 01实时检测 PII 泄露、幻觉、提示词注入和有毒语言的护栏
  • 02收集智能体工作流和 LLM 应用的 OpenInference OpenTelemetry 追踪
  • 03对线上追踪进行持续评估，及时发现质量退化
  • 04提示词版本管理与变体实验对比
  • 05RAG 流程端到端评估
  • 06支持自定义指标和可扩展 API

适用场景

  • 为 LLM 应用添加护栏，拦截敏感数据泄露或提示词注入
  • 对多步骤智能体进行追踪与评估，发现质量退化
  • 比较不同提示词变体并衡量其对质量指标的影响
  • 在生产环境中监控传统机器学习模型的漂移与准确率

快速上手

  1. 1

    运行 README 中的 macOS 官方安装脚本(需手动执行)

  2. 2

    运行 README 中的 Windows 官方安装脚本(需手动执行)

  3. 3

    参考 genai-engine/examples 目录中的示例为你的智能体添加埋点

使用前须知

  • 机器学习模型监控需要 Arthur Platform。
  • 自定义仪表盘和告警等完整平台功能需要注册 Arthur Platform。
  • 安装依赖运行安装脚本,而非标准的包管理器安装方式。

收录于专题

OpenTelemetry 与可观测性平台

标签

#llm#guardrails#observability#evaluation#tracing#agentic#monitoring#opentelemetry#benchmarking#genai

常见问题

arthur-engine 是什么？
开源的 LLM 与智能体应用护栏、追踪、评估与监控引擎，也支持机器学习模型监控。 Arthur Engine 是一个用于开发、监控和治理 AI 与机器学习工作负载的服务。对于 LLM 应用和生成式 AI 工作流，它可以通过可配置的护栏实时检测 PII 或敏感数据泄露、幻觉、提示词注入和有毒语言。
arthur-engine 可以免费使用吗？用的什么许可证？
arthur-engine 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
arthur-engine 还在维护吗？
活跃维护中。arthur-engine 最近一次提交是在 2026年11月6日。
arthur-engine 适合用来做什么？
为 LLM 应用添加护栏，拦截敏感数据泄露或提示词注入 对多步骤智能体进行追踪与评估，发现质量退化 比较不同提示词变体并衡量其对质量指标的影响 在生产环境中监控传统机器学习模型的漂移与准确率
arthur-engine 怎么安装和运行？
运行 README 中的 macOS 官方安装脚本(需手动执行) 运行 README 中的 Windows 官方安装脚本(需手动执行) 参考 genai-engine/examples 目录中的示例为你的智能体添加埋点
在哪里获取 arthur-engine？
源代码和安装说明在 GitHub 上：https://github.com/arthur-ai/arthur-engine

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目