Componentes e arquiteturas do spaCy que integram modelos transformer do Hugging Face, como BERT, RoBERTa e XLNet, a pipelines do spaCy.
1,4 mil177PythonMITAtualizado há 4 dias
KRLabsOrg/LettuceDetect
Detector de alucinações de código aberto que identifica trechos sem respaldo em respostas de IA baseadas em RAG, agentes de código e ferramentas.
- Estrelas
- 620
- Forks
- 64
- Issues abertas
- 28
- Último commit
- há 23 horas
O que é?
O LettuceDetect verifica respostas geradas por IA com base nas evidências que deveriam sustentá-las. Com um contexto, uma pergunta e uma resposta, ele marca os trechos exatos, por caractere, que não têm respaldo, são contraditórios ou foram inventados, em vez de dar apenas um veredito geral de aprovada ou sinalizada para toda a resposta. Ele cobre textos de RAG, perguntas e respostas multilíngues, respostas de agentes de código e resultados de ferramentas para desenvolvedores.
O projeto oferece dois tipos de modelos. Os modelos encoder rápidos (ModernBERT para inglês, EuroBERT para vários idiomas e modelos v2 baseados em mmBERT) são executados localmente como classificadores de tokens. Modelos generativos, como o detector v2 baseado em Qwen de 2B parâmetros, geram trechos tipados com uma categoria e uma subcategoria em uma única passagem. Também é possível adicionar uma camada de taxonomia ao encoder para classificar os trechos. O projeto inclui uma baseline baseada em LLM que usa a API da OpenAI para comparação.
O pacote Python pode ser instalado pelo PyPI e carrega modelos do Hugging Face em poucas linhas. O projeto também inclui um servidor web FastAPI com um cliente Python, uma demo em Streamlit e scripts de treinamento e avaliação para o dataset RAGTruth.
Recursos principais
- 01Retorna os trechos exatos, por caractere, de conteúdo sem respaldo ou inventado em uma resposta.
- 02Oferece modelos encoder locais para inferência rápida e modelos generativos que classificam cada trecho.
- 03Dá suporte a respostas de RAG em inglês e em vários idiomas, além de resultados de agentes de código e ferramentas.
- 04Oferece uma API Python instalável via pip e um servidor FastAPI com cliente Python.
- 05Inclui scripts de treinamento e avaliação para o dataset RAGTruth.
Casos de uso
- Verificar se as respostas de um chatbot RAG têm respaldo nos documentos recuperados.
- Sinalizar APIs inventadas ou valores incorretos em respostas de agentes de código, comparando-as com o código-fonte do repositório.
- Auditar resultados baseados em ferramentas antes de exibi-los aos usuários.
- Avaliar detectores de alucinação com dados no formato do RAGTruth.
Início rápido
- 1
Instale o pacote pelo PyPI
pip install lettucedetect -U - 2
Execute o detector com um contexto, uma pergunta e uma resposta (consulte o exemplo em Python no README)
Antes de usar
- Os modelos EuroBERT precisam de uma versão do transformers anterior à 5.x, pois ainda não são compatíveis com o transformers 5.
- Os modelos de referência baseados em LLM exigem uma chave de API da OpenAI.
Em coleções
Tópicos
#hallucination-detection#rag#nlp#token-classification#pytorch#bert#llm-evaluation#hallucination-evaluation#information-extraction#python
Perguntas frequentes
- O que é LettuceDetect?
- Detector de alucinações de código aberto que identifica trechos sem respaldo em respostas de IA baseadas em RAG, agentes de código e ferramentas. O LettuceDetect verifica respostas geradas por IA com base nas evidências que deveriam sustentá-las. Com um contexto, uma pergunta e uma resposta, ele marca os trechos exatos, por caractere, que não têm respaldo, são contraditórios ou foram inventados, em vez de dar apenas um veredito geral de aprovada ou sinalizada para toda a resposta. Ele cobre textos de RAG, perguntas e respostas multilíngues, respostas de agentes de código e resultados de ferramentas para desenvolvedores.
- LettuceDetect é gratuito? Qual é a licença?
- LettuceDetect é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- LettuceDetect ainda é mantido?
- Manutenção ativa. O último commit de LettuceDetect foi em 6 de nov. de 2026.
- Para que posso usar LettuceDetect?
- Verificar se as respostas de um chatbot RAG têm respaldo nos documentos recuperados. Sinalizar APIs inventadas ou valores incorretos em respostas de agentes de código, comparando-as com o código-fonte do repositório. Auditar resultados baseados em ferramentas antes de exibi-los aos usuários. Avaliar detectores de alucinação com dados no formato do RAGTruth.
- Como instalar LettuceDetect?
- Instale o pacote pelo PyPI: pip install lettucedetect -U Execute o detector com um contexto, uma pergunta e uma resposta (consulte o exemplo em Python no README)
- Onde consigo LettuceDetect?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/KRLabsOrg/LettuceDetect
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca Python que avalia a probabilidade de respostas de LLM conterem alucinações usando quantificação de incerteza, com scorers black-box, white-box, judge e ensemble.
IA e Machine Learning#hallucination-detection#uncertainty-quantification#llm-evaluation#confidence-estimation#llm-safety
1,2 mil+2 esta semana140PythonApache-2.0Bem mantidoAtualizado há 25 dias
Biblioteca Python que usa LLMs para extrair dados estruturados de textos não estruturados, vinculando cada extração ao trecho de origem.
39,3 mil+59 esta semana2,8 milPythonApache-2.0Atualizado ontem
Transforma textos não estruturados em um grafo de conhecimento interativo usando um LLM para extrair triplas sujeito-predicado-objeto.
3,1 mil+1 esta semana420PythonApache-2.0Bem mantidoAtualizado há 2 meses
Biblioteca de tokenização de ponta e rápida, escrita em Rust, com bindings para Python e Node.js para pipelines de NLP e modelos de linguagem.
11,2 mil+8 esta semana1,2 milRustApache-2.0Atualizado há 21 horas
Biblioteca Python de modelagem de tópicos que combina embeddings de transformers com c-TF-IDF para gerar tópicos interpretáveis a partir de textos.
7,9 mil+15 esta semana931PythonMITAtualizado anteontem