PacificAI/langtest

O que é?

Recursos principais

• 01Gera e executa mais de 60 tipos de teste com uma única linha de código.
• 02Abrange robustez, viés, representação, equidade e precisão.
• 03Oferece suporte a pipelines de NER, tradução e classificação de texto em Spark NLP, Hugging Face e Transformers.
• 04Testa LLMs hospedados pela OpenAI, Cohere, AI21, Hugging Face e Azure OpenAI.
• 05Inclui conjuntos de dados de benchmark para resposta a perguntas, sumarização e outras tarefas.

Casos de uso

• Verificar a robustez de um modelo de NER diante de erros de digitação e mudanças entre maiúsculas e minúsculas antes da implantação.
• Auditar um chatbot ou LLM quanto a viés, toxicidade ou bajulação.
• Avaliar a precisão de saídas de LLMs médicos ou jurídicos em domínios específicos.
• Comparar vários modelos usando os mesmos conjuntos de dados de benchmark.

Início rápido

1. 1

   Instale o langtest com suporte a transformers

   pip install langtest[transformers]
2. 2

   Crie um Harness e gere, execute e relate testes em um modelo

Antes de usar

• !Alguns tipos de teste precisam de chaves de API pagas de provedores de LLM, como OpenAI, Cohere ou AI21.

Em coleções

Tópicos

Perguntas frequentes

O que é langtest?

Biblioteca Python que gera e executa testes de robustez, viés, equidade e precisão em modelos de NLP e LLMs com uma linha de código. LangTest é uma biblioteca Python para avaliar modelos de linguagem antes de colocá-los em produção. O usuário cria um objeto Harness para uma tarefa, como reconhecimento de entidades nomeadas, aponta-o para um modelo e, em seguida, gera casos de teste, executa-os e produz um relatório. A biblioteca oferece mais de 60 tipos de teste, abrangendo robustez, viés, representação, equidade e precisão.

langtest é gratuito? Qual é a licença?

langtest é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

langtest ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de langtest foi em 28 de ago. de 2026.

Para que posso usar langtest?

Verificar a robustez de um modelo de NER diante de erros de digitação e mudanças entre maiúsculas e minúsculas antes da implantação. Auditar um chatbot ou LLM quanto a viés, toxicidade ou bajulação. Avaliar a precisão de saídas de LLMs médicos ou jurídicos em domínios específicos. Comparar vários modelos usando os mesmos conjuntos de dados de benchmark.

Como instalar langtest?

Instale o langtest com suporte a transformers: pip install langtest[transformers] Crie um Harness e gere, execute e relate testes em um modelo

Onde consigo langtest?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/PacificAI/langtest