openlayer-ai/jevals

这是什么？

核心功能

• 01单次请求即可为一条轨迹完成全部评测项。
• 02内置 37 个评测，涵盖 Agent 行为、安全和质量指标（含 Ragas 风格指标）。
• 03评测可用 Python 类或遵循统一格式的 YAML 文件定义。
• 04Gate 可对工具调用做放行、升级人工或拦截，并在进入模型前脱敏 PII/PHI。
• 05支持多种后端：TypeSafe 或 Vercel 上的 Jev、OpenRouter、Kev、Laya、Eikos 及普通聊天大模型。
• 06提供 CLI，可回放轨迹并依据标注数据校准阈值。

适用场景

• 在每次请求中为生产环境 Agent 轨迹评分，检查工具误用、无依据回答和越界行为。
• 在 Agent 采取行动前，拦截工具结果或检索文档中的间接提示词注入。
• 对退款、删除数据等不可逆工具调用设置 Gate，并转交人工审核。
• 为 RAG 或 Agent 流程运行离线回归评测，避免昂贵的 LLM 裁判成本。

快速上手

1. 1

   从 PyPI 安装该包

   pip install jevals
2. 2

   为通过 Vercel AI Gateway 访问 Jev 的后端设置 API 密钥

   export AI_GATEWAY_API_KEY=...

使用前须知

• !要运行经过校准的评估，需要 Jev API 密钥、TypeSafe 账户，或自托管的决策模型（如 Kev 或 Eikos）。
• !本地方案依赖硬件：Kev 和 Laya 需要 Mac，Eikos 需要 GPU。
• !如果没有决策模型，模拟的聊天 LLM 后端只会返回 0.00 或 1.00 的概率。

收录于专题

标签

常见问题

jevals 是什么？

Python 库，用 Jev 类决策模型替代 LLM 裁判，为 Agent 执行轨迹做评测与护栏，一次请求完成所有检查。 jevals 是一个用于 LLM Agent 评测与护栏的 Python 库。它不让大模型充当裁判，而是用 Jev 类决策模型对类型化的问题（是否判断、选项选择、评分量表）给出校准后的概率，并把一条轨迹的所有评测项打包进一次请求。内置指标覆盖 Agent 行为（工具选择、结果引用、是否越界、循环检测）、安全（提示词注入、间接注入、PII/PHI、密钥泄露）以及 Ragas 风格的质量指标。

jevals 可以免费使用吗？用的什么许可证？

jevals 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

jevals 还在维护吗？

活跃维护中。jevals 最近一次提交是在 2026年11月2日。

jevals 适合用来做什么？

在每次请求中为生产环境 Agent 轨迹评分，检查工具误用、无依据回答和越界行为。 在 Agent 采取行动前，拦截工具结果或检索文档中的间接提示词注入。 对退款、删除数据等不可逆工具调用设置 Gate，并转交人工审核。 为 RAG 或 Agent 流程运行离线回归评测，避免昂贵的 LLM 裁判成本。

jevals 怎么安装和运行？

从 PyPI 安装该包: pip install jevals 为通过 Vercel AI Gateway 访问 Jev 的后端设置 API 密钥: export AI_GATEWAY_API_KEY=...

在哪里获取 jevals？

源代码和安装说明在 GitHub 上：https://github.com/openlayer-ai/jevals