Repolode
提交项目
PacificAI

PacificAI/langtest

Python 库，用一行代码为 NLP 模型和大语言模型生成并运行鲁棒性、偏见、公平性等测试。

在 GitHub 查看官网
Star
561
Fork
53
未关闭 Issue
7
最近提交
2个月前

这是什么？

LangTest 是一个 Python 库，用于在语言模型上线前进行评测。使用者为某个任务（如命名实体识别）创建 Harness 对象并指定模型，然后生成测试用例、运行并输出报告，整个流程只需几行代码。库内包含 60 多种测试类型，涵盖鲁棒性、偏见、代表性、公平性和准确率。

它支持基于 Spark NLP、Hugging Face 和 Transformers 构建的 NLP 流水线，适用于 NER、翻译和文本分类任务，也能测试 OpenAI、Cohere、AI21、Hugging Face Inference API 和 Azure OpenAI 等托管大模型，覆盖问答、毒性、事实性、谄媚性、摘要以及临床、法律等场景。对部分模型，测试结果还能驱动训练数据的自动增强。

项目采用 Apache-2.0 协议，由 John Snow Labs 与 Pacific AI 团队维护，文档和基准数据集发布在 langtest.org。

核心功能

  • 01一行代码即可生成并运行 60 多种测试。
  • 02覆盖鲁棒性、偏见、代表性、公平性和准确率。
  • 03支持 Spark NLP、Hugging Face 和 Transformers 的 NER、翻译与文本分类流水线。
  • 04可测试 OpenAI、Cohere、AI21、Hugging Face 和 Azure OpenAI 的大语言模型。
  • 05提供问答、摘要等任务的基准数据集。

适用场景

  • 部署前检查 NER 模型对拼写错误和大小写变化的鲁棒性。
  • 审查聊天机器人或大语言模型是否存在偏见、毒性或谄媚问题。
  • 评估医疗或法律领域大模型输出的专业准确性。
  • 在相同基准数据集上比较多个模型。

快速上手

  1. 1

    安装带 transformers 支持的 langtest

    pip install langtest[transformers]
  2. 2

    创建 Harness 对象，生成、运行并查看测试报告

使用前须知

  • 部分测试类型需要 OpenAI、Cohere、AI21 等 LLM 服务商的付费 API 密钥。

收录于专题

测试框架与自动化测试工具自然语言处理工具与库

标签

#ai-testing#llm-evaluation#nlp#responsible-ai#model-robustness#bias-detection#benchmarks#ai-safety#artificial-intelligence#benchmark-framework

常见问题

langtest 是什么？
Python 库，用一行代码为 NLP 模型和大语言模型生成并运行鲁棒性、偏见、公平性等测试。 LangTest 是一个 Python 库，用于在语言模型上线前进行评测。使用者为某个任务（如命名实体识别）创建 Harness 对象并指定模型，然后生成测试用例、运行并输出报告，整个流程只需几行代码。库内包含 60 多种测试类型，涵盖鲁棒性、偏见、代表性、公平性和准确率。
langtest 可以免费使用吗？用的什么许可证？
langtest 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
langtest 还在维护吗？
半年内有更新。langtest 最近一次提交是在 2026年8月28日。
langtest 适合用来做什么？
部署前检查 NER 模型对拼写错误和大小写变化的鲁棒性。 审查聊天机器人或大语言模型是否存在偏见、毒性或谄媚问题。 评估医疗或法律领域大模型输出的专业准确性。 在相同基准数据集上比较多个模型。
langtest 怎么安装和运行？
安装带 transformers 支持的 langtest: pip install langtest[transformers] 创建 Harness 对象，生成、运行并查看测试报告
在哪里获取 langtest？
源代码和安装说明在 GitHub 上：https://github.com/PacificAI/langtest

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目