vectara/hallucination-leaderboard

O que é?

Recursos principais

• 01Classifica dezenas de LLMs pela taxa de alucinação em tarefas de resumo de documentos.
• 02Usa o modelo HHEM da Vectara para avaliar a consistência factual de cada resumo.
• 03Apresenta a taxa de resposta e o tamanho médio dos resumos junto com a precisão.
• 04Documenta o prompt, a temperatura e as versões exatas dos modelos usados.
• 05Mantém o conjunto de dados de avaliação privado para reduzir o overfitting.

Casos de uso

• Comparar LLMs candidatos para tarefas de resumo ou pipelines de RAG pela confiabilidade factual.
• Escolher um modelo quando a fidelidade ao texto de origem importa mais do que a fluência.
• Acompanhar como as taxas de alucinação mudam ao longo do tempo, conforme novos modelos são lançados.

Antes de usar

• !O modelo de avaliação HHEM-2.3 é um modelo comercial da Vectara; apenas uma variante de código aberto (HHEM-2.1-Open) está disponível publicamente.
• !O conjunto de dados de avaliação não está disponível publicamente, portanto não é possível reproduzir os rankings de forma independente com base nos dados.

Tópicos

Perguntas frequentes

O que é hallucination-leaderboard?

Ranking público de LLMs pela frequência com que alucinam ao resumir documentos curtos, avaliado pelo modelo HHEM da Vectara. Este repositório reúne um ranking público que mede a frequência com que modelos de linguagem de grande porte inventam informações ao resumir um documento. Cada modelo recebe um documento de um conjunto de dados privado com mais de 7.700 artigos e deve resumi-lo usando apenas fatos presentes na fonte. Em seguida, o Hallucination Evaluation Model (HHEM) da Vectara verifica se cada resumo é factualmente consistente com o texto original, gerando uma taxa de alucinação e uma taxa de consistência factual para cada modelo.

hallucination-leaderboard é gratuito? Qual é a licença?

hallucination-leaderboard é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

hallucination-leaderboard ainda é mantido?

Manutenção ativa. O último commit de hallucination-leaderboard foi em 17 de out. de 2026.

Para que posso usar hallucination-leaderboard?

Comparar LLMs candidatos para tarefas de resumo ou pipelines de RAG pela confiabilidade factual. Escolher um modelo quando a fidelidade ao texto de origem importa mais do que a fluência. Acompanhar como as taxas de alucinação mudam ao longo do tempo, conforme novos modelos são lançados.

Onde consigo hallucination-leaderboard?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vectara/hallucination-leaderboard