openevals 是什么？

用于测试 LLM 应用输出的 Python/TypeScript 评估库，提供现成评估器和 LLM-as-judge 打分。 OpenEvals 是一个面向 LLM 应用的现成评估器库，思路上类似传统软件的单元测试。它提供起点性质的评估器，团队可以直接使用，也可以在此基础上编写更贴合自身应用的评估。

openevals 可以免费使用吗？用的什么许可证？

openevals 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

openevals 还在维护吗？

活跃维护中。openevals 最近一次提交是在 2026年10月21日。

openevals 适合用来做什么？

在上线前检查聊天机器人的回答是否简洁、正确且没有幻觉。评估 RAG 流程的回答依据性和检索相关性。检测模型输出中的有害内容、个人信息泄露或提示词注入。将 LLM 输出检查纳入 CI 测试流程。

openevals 怎么安装和运行？

使用 pip 安装 openevals: pip install openevals 将 OpenAI API 密钥设置为环境变量: export OPENAI_API_KEY="your_openai_api_key" 运行 README 中的简洁性评估器示例

在哪里获取 openevals？

源代码和安装说明在 GitHub 上：https://github.com/langchain-ai/openevals

langchain-ai/openevals

用于测试 LLM 应用输出的 Python/TypeScript 评估库，提供现成评估器和 LLM-as-judge 打分。

在 GitHub 查看

Star: 1,227
Fork: 133
未关闭 Issue: 25
最近提交: 2小时前

这是什么？

OpenEvals 是一个面向 LLM 应用的现成评估器库，思路上类似传统软件的单元测试。它提供起点性质的评估器，团队可以直接使用，也可以在此基础上编写更贴合自身应用的评估。

核心是 create_llm_as_judge 函数：传入提示词和评判模型，即可得到一个评估器，它会把输入和输出填入提示词，并解析评判模型给出的分数。包内置了质量、安全、安全性、RAG、代码、结构化抽取、Agent 轨迹以及语音和图像等场景的预置提示词。评判模型可以用 provider:model 字符串通过 LangChain 指定，也可以直接传入聊天模型或 OpenAI 客户端实例。

此外，OpenEvals 还提供精确匹配、编辑距离、向量相似度等非 LLM 评估器，并可与 LangSmith 的 pytest 以及 Vitest/Jest 运行器集成。同时支持 Python 和 TypeScript。针对 Agent 的评估器位于另一个项目 agentevals 中。

核心功能

01根据提示词和评判模型生成 LLM-as-judge 评估器。
02内置质量、安全、安全性、RAG 和代码检查等预置提示词。
03支持自定义评分值、输出结构和图像、音频、PDF 等多模态输入。
04提供精确匹配、编辑距离、嵌入相似度等非 LLM 评估器。
05可与 LangSmith 的 pytest 以及 Vitest/Jest 运行器配合使用。

适用场景

在上线前检查聊天机器人的回答是否简洁、正确且没有幻觉。
评估 RAG 流程的回答依据性和检索相关性。
检测模型输出中的有害内容、个人信息泄露或提示词注入。
将 LLM 输出检查纳入 CI 测试流程。

快速上手

1
使用 pip 安装 openevals
pip install openevals
2
将 OpenAI API 密钥设置为环境变量
export OPENAI_API_KEY="your_openai_api_key"
3
运行 README 中的简洁性评估器示例

使用前须知

快速入门和默认的 LLM-as-judge 评估器需要 OpenAI API 密钥，而 OpenAI 是付费服务。

常见问题

openevals 是什么？: 用于测试 LLM 应用输出的 Python/TypeScript 评估库，提供现成评估器和 LLM-as-judge 打分。 OpenEvals 是一个面向 LLM 应用的现成评估器库，思路上类似传统软件的单元测试。它提供起点性质的评估器，团队可以直接使用，也可以在此基础上编写更贴合自身应用的评估。
openevals 可以免费使用吗？用的什么许可证？: openevals 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
openevals 还在维护吗？: 活跃维护中。openevals 最近一次提交是在 2026年10月21日。
openevals 适合用来做什么？: 在上线前检查聊天机器人的回答是否简洁、正确且没有幻觉。评估 RAG 流程的回答依据性和检索相关性。检测模型输出中的有害内容、个人信息泄露或提示词注入。将 LLM 输出检查纳入 CI 测试流程。
openevals 怎么安装和运行？: 使用 pip 安装 openevals: pip install openevals 将 OpenAI API 密钥设置为环境变量: export OPENAI_API_KEY="your_openai_api_key" 运行 README 中的简洁性评估器示例
在哪里获取 openevals？: 源代码和安装说明在 GitHub 上：https://github.com/langchain-ai/openevals

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。