Plataforma open source integral para evaluar modelos de lenguaje grandes en más de 100 datasets y con numerosos proveedores de modelos y backends de inferencia.
7,5 mil888PythonApache-2.0Actualizado hace 7 horas
vectara/hallucination-leaderboard
Clasificación pública de LLM según la frecuencia con que alucinan al resumir documentos breves, evaluada con el modelo HHEM de Vectara.
- Estrellas
- 3,322
- Forks
- 107
- Issues abiertos
- 20
- Último commit
- hace 5 días
¿Qué es?
Este repositorio alberga una clasificación pública que mide con qué frecuencia los modelos de lenguaje grandes introducen alucinaciones al resumir un documento. A cada modelo se le proporciona un documento de un conjunto de datos privado con más de 7.700 artículos y se le pide que lo resuma usando solo información de la fuente. A continuación, el Hallucination Evaluation Model (HHEM) de Vectara comprueba si cada resumen es coherente con los hechos del texto original y calcula, para cada modelo, una tasa de alucinación y una tasa de coherencia factual.
La clasificación también muestra una tasa de respuesta —con qué frecuencia un modelo se abstuvo de resumir— y la longitud media de los resúmenes, para evitar que las respuestas demasiado breves obtengan una buena puntuación. Los resultados se actualizan periódicamente a medida que cambian los modelos y las API. El conjunto de datos se mantiene privado para reducir el sobreajuste, y hay una versión interactiva de la clasificación en Hugging Face.
El repositorio documenta el prompt, la temperatura y las versiones concretas de los modelos y proveedores utilizados en cada entrada, entre ellos Anthropic, OpenAI, Google Vertex AI, Mistral, Cohere y varios modelos de pesos abiertos a los que se accede mediante servicios de inferencia alojados.
Funciones clave
- 01Clasifica decenas de LLM según su tasa de alucinación al resumir documentos.
- 02Usa el modelo HHEM de Vectara para evaluar la coherencia factual de cada resumen.
- 03Muestra la tasa de respuesta y la longitud media de los resúmenes junto con la precisión.
- 04Documenta el prompt, la temperatura y las versiones exactas de los modelos utilizados.
- 05Mantiene privado el conjunto de datos de evaluación para reducir el sobreajuste.
Casos de uso
- Comparar LLM candidatos para tareas de resumen o pipelines de RAG según su fiabilidad factual.
- Elegir un modelo cuando la fidelidad al texto de origen importa más que la fluidez.
- Seguir la evolución de las tasas de alucinación entre versiones de modelos.
Antes de usarlo
- El modelo de evaluación HHEM-2.3 es un modelo comercial de Vectara; solo está disponible públicamente una variante de código abierto (HHEM-2.1-Open).
- El conjunto de datos de evaluación no está disponible públicamente, por lo que no se pueden reproducir los rankings de forma independiente a partir de los datos.
Temas
Preguntas frecuentes
- ¿Qué es hallucination-leaderboard?
- Clasificación pública de LLM según la frecuencia con que alucinan al resumir documentos breves, evaluada con el modelo HHEM de Vectara. Este repositorio alberga una clasificación pública que mide con qué frecuencia los modelos de lenguaje grandes introducen alucinaciones al resumir un documento. A cada modelo se le proporciona un documento de un conjunto de datos privado con más de 7.700 artículos y se le pide que lo resuma usando solo información de la fuente. A continuación, el Hallucination Evaluation Model (HHEM) de Vectara comprueba si cada resumen es coherente con los hechos del texto original y calcula, para cada modelo, una tasa de alucinación y una tasa de coherencia factual.
- ¿hallucination-leaderboard es gratuito? ¿Qué licencia tiene?
- hallucination-leaderboard es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿hallucination-leaderboard sigue mantenido?
- Mantenimiento activo. El último commit de hallucination-leaderboard fue el 17 oct 2026.
- ¿Para qué puedo usar hallucination-leaderboard?
- Comparar LLM candidatos para tareas de resumen o pipelines de RAG según su fiabilidad factual. Elegir un modelo cuando la fidelidad al texto de origen importa más que la fluidez. Seguir la evolución de las tasas de alucinación entre versiones de modelos.
- ¿Dónde consigo hallucination-leaderboard?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vectara/hallucination-leaderboard
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Benchmark y herramienta de evaluación para comprobar si los modelos de lenguaje pueden resolver issues reales de GitHub generando parches verificados en Docker.
6,1 mil1 milPythonMITActualizado el mes pasado
Framework personalizable para evaluar LLM, VLM y modelos AIGC con benchmarks, además de pruebas de estrés del rendimiento de inferencia y paneles de resultados.
3,6 mil531PythonApache-2.0Actualizado hace 7 horas
Benchmark y entorno de ejecución para evaluar agentes de IA multimodales en tareas informáticas abiertas en sistemas operativos de escritorio reales.
3,2 mil548PythonApache-2.0Actualizado ayer
Suite de benchmarks y herramientas de evaluación que puntúa modelos generativos de texto a video e imagen a video en diversas dimensiones de calidad y semántica.
1,8 mil135PythonApache-2.0Actualizado hace 2 meses
Framework de Python que evalúa LLMs haciéndolos jugar a Bulls and Cows mediante proveedores compatibles con LiteLLM.
2352HTMLMITActualizado hace 2 años