HowieHwong/TrustLLM

O que é?

Recursos principais

• 01Abrange seis dimensões de confiabilidade com os conjuntos de dados do benchmark da ICML 2024.
• 02Executa a geração com LMs causais locais do Hugging Face ou APIs compatíveis com OpenAI.
• 03Disponibiliza os comandos download, tasks, generate e evaluate pela CLI trustllm.
• 04Salva checkpoints por amostra e oferece suporte à retomada controlada de execuções interrompidas.
• 05Pontua respostas com regras, classificadores, embeddings ou um avaliador via API, dependendo da tarefa.

Casos de uso

• Comparar a segurança e a veracidade de vários LLMs usando um benchmark consistente.
• Verificar a suscetibilidade de um modelo local ou ajustado a jailbreaks antes da implantação.
• Reproduzir os resultados do TrustLLM da ICML 2024 em pesquisas acadêmicas.
• Fazer um teste rápido de um modelo via API antes de uma avaliação completa.

Início rápido

1. 1

   Instale o pacote base do GitHub (é necessário ter o Git).

   python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg"
2. 2

   Baixe o conjunto de dados de benchmark.

   python -m trustllm download --output data
3. 3

   Configure sua chave de API e o endpoint e, em seguida, execute uma geração de teste (smoke test).

   export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

Antes de usar

• !A pontuação de execuções completas pode usar um avaliador via API que pode gerar cobranças.
• !As configurações de geração diferem das do artigo original, portanto, novas execuções não são diretamente comparáveis aos resultados do artigo.
• !A instalação é feita a partir da branch main no GitHub, e não de uma versão publicada do pacote.

Em coleções

Tópicos

Perguntas frequentes

O que é TrustLLM?

Kit de pesquisa aberto do benchmark TrustLLM da ICML 2024 para avaliar a confiabilidade de LLMs em seis dimensões via CLI e Python. TrustLLM é um kit de pesquisa para medir a confiabilidade de grandes modelos de linguagem em seis dimensões: veracidade, segurança, equidade, robustez, privacidade e ética. Ele reúne o benchmark da ICML 2024 para que você execute os conjuntos de dados com pesos locais do Hugging Face ou qualquer API compatível com OpenAI e mantenha os dados, as configurações e os resultados juntos em um único diretório de execução.

TrustLLM é gratuito? Qual é a licença?

TrustLLM é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

TrustLLM ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de TrustLLM foi em 4 de out. de 2026.

Para que posso usar TrustLLM?

Comparar a segurança e a veracidade de vários LLMs usando um benchmark consistente. Verificar a suscetibilidade de um modelo local ou ajustado a jailbreaks antes da implantação. Reproduzir os resultados do TrustLLM da ICML 2024 em pesquisas acadêmicas. Fazer um teste rápido de um modelo via API antes de uma avaliação completa.

Como instalar TrustLLM?

Instale o pacote base do GitHub (é necessário ter o Git).: python -m pip install "trustllm @ git+https://github.com/HowieHwong/TrustLLM.git@main#subdirectory=trustllm_pkg" Baixe o conjunto de dados de benchmark.: python -m trustllm download --output data Configure sua chave de API e o endpoint e, em seguida, execute uma geração de teste (smoke test).: export OPENAI_API_KEY="your-api-key" export OPENAI_BASE_URL="https://your-provider.example/v1" python -m trustllm generate \ --backend api --model your-model-id \ --task safety --data data/dataset \ --limit 5 --concurrency 4 --output runs/api-safety

Onde consigo TrustLLM?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/HowieHwong/TrustLLM