Repolode
Enviar
Giskard-AI

Giskard-AI/giskard-oss

Biblioteca Python de código aberto para criar evals, fazer red teaming e varreduras de vulnerabilidades em sistemas baseados em LLMs e sistemas agênticos.

Ver no GitHubSite
Estrelas
5,945
Forks
561
Issues abertas
81
Último commit
há 4 dias

O que é?

Giskard é uma biblioteca Python para testar e avaliar sistemas agênticos. Ela encapsula qualquer alvo — seja um LLM, um agente black-box ou um pipeline com várias etapas — como uma função chamável síncrona ou assíncrona e executa verificações sobre as saídas. Como as saídas de LLMs são não determinísticas, seus evals combinam asserções simples, como correspondência de strings, regex e similaridade semântica, com verificações de LLM-as-judge, como Groundedness, Conformity e LLMJudge.

A versão v3 é organizada como um conjunto de pacotes especializados. giskard-checks oferece a API de cenários, suites e verificações integradas para testes de regressão, grounding em RAG e conversas multi-turn. giskard-scan adiciona um scanner de vulnerabilidades que gera suites de teste adversariais a partir de uma descrição em linguagem simples de um agente, cobrindo prompt injection, jailbreaks e conteúdo nocivo, além de uma quality_scan para avaliar bases de conhecimento.

O scan tabular de ML legado da v2 e o gerador de testes RAGET continuam disponíveis para usuários da v2, mas a v2 não recebe mais manutenção ativa. A instalação requer Python 3.12 ou mais recente, e os SDKs dos provedores são adicionados por meio de extras do pip.

Recursos principais

  • 01API de cenários para criar evals a partir de interações e verificações
  • 02Verificações integradas, incluindo correspondência de strings, regex, similaridade semântica e LLM judges
  • 03Verificações de Groundedness, Conformity e LLMJudge para avaliação de RAG e segurança
  • 04Geração automática de suites de red teaming a partir de uma descrição do seu agente
  • 05Probes de prompt injection e categorias de ameaças OWASP LLM Top-10
  • 06Pacotes modulares que podem ser instalados via extras do pip

Casos de uso

  • Testar regressões em uma aplicação com LLM após mudanças no prompt ou no modelo
  • Verificar se as respostas de RAG estão fundamentadas no contexto recuperado
  • Fazer red teaming de um chatbot de suporte ao cliente para detectar prompt injection e saídas nocivas
  • Avaliar conversas multi-turn de um agente de ponta a ponta

Início rápido

  1. 1

    Instale a biblioteca principal de verificações

    pip install giskard
  2. 2

    Instale o extra do scanner de vulnerabilidades

    pip install "giskard[scan]"
  3. 3

    Instale um SDK de provedor para os avaliadores LLM (por exemplo, OpenAI) e configure a chave de API

    pip install "giskard[openai]"

Antes de usar

  • É necessário usar Python 3.12 ou posterior.
  • Avaliadores LLM e scanners precisam de uma chave de API de um provedor, como a OpenAI.
  • A verificação de ML tabular da v2 está disponível apenas como legado, e a v2 não recebe mais manutenção ativa.

Em coleções

Frameworks de teste e ferramentas de automação de testes

Tópicos

#llm-evaluation#red-teaming#ai-testing#llm-security#rag-evaluation#agent-evaluation#python#ai-red-team#ai-security#fairness-ai

Perguntas frequentes

O que é giskard-oss?
Biblioteca Python de código aberto para criar evals, fazer red teaming e varreduras de vulnerabilidades em sistemas baseados em LLMs e sistemas agênticos. Giskard é uma biblioteca Python para testar e avaliar sistemas agênticos. Ela encapsula qualquer alvo — seja um LLM, um agente black-box ou um pipeline com várias etapas — como uma função chamável síncrona ou assíncrona e executa verificações sobre as saídas. Como as saídas de LLMs são não determinísticas, seus evals combinam asserções simples, como correspondência de strings, regex e similaridade semântica, com verificações de LLM-as-judge, como Groundedness, Conformity e LLMJudge.
giskard-oss é gratuito? Qual é a licença?
giskard-oss é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
giskard-oss ainda é mantido?
Manutenção ativa. O último commit de giskard-oss foi em 2 de nov. de 2026.
Para que posso usar giskard-oss?
Testar regressões em uma aplicação com LLM após mudanças no prompt ou no modelo Verificar se as respostas de RAG estão fundamentadas no contexto recuperado Fazer red teaming de um chatbot de suporte ao cliente para detectar prompt injection e saídas nocivas Avaliar conversas multi-turn de um agente de ponta a ponta
Como instalar giskard-oss?
Instale a biblioteca principal de verificações: pip install giskard Instale o extra do scanner de vulnerabilidades: pip install "giskard[scan]" Instale um SDK de provedor para os avaliadores LLM (por exemplo, OpenAI) e configure a chave de API: pip install "giskard[openai]"
Onde consigo giskard-oss?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Giskard-AI/giskard-oss

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados