Componentes y arquitecturas de spaCy que integran modelos transformer de Hugging Face, como BERT, RoBERTa y XLNet, en pipelines de spaCy.
1,4 mil177PythonMITActualizado hace 4 días
KRLabsOrg/LettuceDetect
Detector de alucinaciones de código abierto que identifica fragmentos sin respaldo en respuestas de IA basadas en RAG, agentes de código y herramientas.
- Estrellas
- 620
- Forks
- 64
- Issues abiertos
- 28
- Último commit
- hace 22 horas
¿Qué es?
LettuceDetect contrasta las respuestas generadas por IA con las pruebas en las que deberían basarse. A partir de un contexto, una pregunta y una respuesta, marca los fragmentos exactos de caracteres que carecen de respaldo, se contradicen con las pruebas o son inventados, en lugar de limitarse a emitir un veredicto de aprobado o marcado para toda la respuesta. Admite texto de RAG, preguntas y respuestas multilingües, respuestas de agentes de código y resultados de herramientas para desarrolladores.
El proyecto ofrece dos tipos de modelos. Los modelos de encoder rápidos (ModernBERT para inglés, EuroBERT para varios idiomas y modelos v2 basados en mmBERT) se ejecutan localmente como clasificadores de tokens. Los modelos generativos, como el detector v2 basado en Qwen de 2B, generan fragmentos tipados con una categoría y una subcategoría en una sola pasada. También se puede añadir un cabezal de taxonomía al encoder para etiquetar fragmentos. Se incluye una línea de base basada en LLM que usa la API de OpenAI para comparar resultados.
El paquete de Python se instala desde PyPI y carga modelos de Hugging Face en unas pocas líneas. También incluye un servidor web FastAPI con un cliente de Python, una demo de Streamlit y scripts de entrenamiento y evaluación para el dataset RAGTruth.
Funciones clave
- 01Devuelve los fragmentos exactos de caracteres que carecen de respaldo o son inventados en una respuesta.
- 02Ofrece modelos de encoder locales para inferencias rápidas y modelos generativos que clasifican cada fragmento.
- 03Admite respuestas de RAG en inglés y en varios idiomas, además de resultados de agentes de código y herramientas.
- 04Ofrece una API de Python instalable con pip y un servidor FastAPI con un cliente de Python.
- 05Incluye scripts de entrenamiento y evaluación para el dataset RAGTruth.
Casos de uso
- Comprobar si las respuestas de un chatbot de RAG se basan en los documentos recuperados.
- Detectar APIs inventadas o valores incorrectos en respuestas de agentes de código, contrastándolas con el código fuente del repositorio.
- Auditar resultados basados en herramientas antes de mostrarlos a los usuarios.
- Evaluar detectores de alucinaciones con datos similares a RAGTruth.
Inicio rápido
- 1
Instala el paquete desde PyPI
pip install lettucedetect -U - 2
Ejecuta el detector con un contexto, una pregunta y una respuesta (consulta el ejemplo de Python en el README)
Antes de usarlo
- Los modelos EuroBERT necesitan una versión de transformers anterior a la 5.x, ya que todavía no son compatibles con transformers 5.
- Los modelos de referencia basados en LLM requieren una clave de API de OpenAI.
En colecciones
Temas
#hallucination-detection#rag#nlp#token-classification#pytorch#bert#llm-evaluation#hallucination-evaluation#information-extraction#python
Preguntas frecuentes
- ¿Qué es LettuceDetect?
- Detector de alucinaciones de código abierto que identifica fragmentos sin respaldo en respuestas de IA basadas en RAG, agentes de código y herramientas. LettuceDetect contrasta las respuestas generadas por IA con las pruebas en las que deberían basarse. A partir de un contexto, una pregunta y una respuesta, marca los fragmentos exactos de caracteres que carecen de respaldo, se contradicen con las pruebas o son inventados, en lugar de limitarse a emitir un veredicto de aprobado o marcado para toda la respuesta. Admite texto de RAG, preguntas y respuestas multilingües, respuestas de agentes de código y resultados de herramientas para desarrolladores.
- ¿LettuceDetect es gratuito? ¿Qué licencia tiene?
- LettuceDetect es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿LettuceDetect sigue mantenido?
- Mantenimiento activo. El último commit de LettuceDetect fue el 6 nov 2026.
- ¿Para qué puedo usar LettuceDetect?
- Comprobar si las respuestas de un chatbot de RAG se basan en los documentos recuperados. Detectar APIs inventadas o valores incorrectos en respuestas de agentes de código, contrastándolas con el código fuente del repositorio. Auditar resultados basados en herramientas antes de mostrarlos a los usuarios. Evaluar detectores de alucinaciones con datos similares a RAGTruth.
- ¿Cómo se instala LettuceDetect?
- Instala el paquete desde PyPI: pip install lettucedetect -U Ejecuta el detector con un contexto, una pregunta y una respuesta (consulta el ejemplo de Python en el README)
- ¿Dónde consigo LettuceDetect?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/KRLabsOrg/LettuceDetect
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca de Python que evalúa la probabilidad de que las respuestas de LLM contengan alucinaciones mediante cuantificación de incertidumbre, con evaluadores black-box, white-box, de juez y de conjunto.
IA y Machine Learning#hallucination-detection#uncertainty-quantification#llm-evaluation#confidence-estimation#llm-safety
1,2 mil+2 esta semana140PythonApache-2.0Bien mantenidoActualizado hace 25 días
Una biblioteca de Python que usa LLMs para extraer datos estructurados de texto no estructurado y vincula cada extracción con su fragmento de origen.
39,3 mil+56 esta semana2,8 milPythonApache-2.0Actualizado hace 10 horas
Convierte texto no estructurado en un grafo de conocimiento interactivo usando un LLM para extraer tripletas sujeto-predicado-objeto.
3,1 mil+1 esta semana420PythonApache-2.0Bien mantenidoActualizado hace 2 meses
Biblioteca de tokenización rápida y de última generación en Rust, con bindings para Python y Node.js, para NLP y pipelines de modelos de lenguaje.
11,2 mil+9 esta semana1,2 milRustApache-2.0Actualizado ayer
Una biblioteca de Python para modelar temas que combina embeddings de transformers con c-TF-IDF para obtener temas interpretables a partir de texto.
7,9 mil+18 esta semana931PythonMITActualizado anteayer