m92vyas/llm-reader

O que é?

Recursos principais

• 01Converte o HTML de páginas da web em texto de entrada pronto para LLMs.
• 02Preserva links de sites e de imagens para tarefas de extração.
• 03Processa tabelas, úteis para scraping de dados estruturados.
• 04Usa Playwright para buscar páginas de forma assíncrona e concorrente.
• 05Permite fornecer HTML de páginas obtido pelo seu próprio scraper ou serviço.

Casos de uso

• Enviar conteúdo da web para um pipeline de RAG.
• Extrair nomes de produtos, links e preços de páginas de e-commerce com um LLM.
• Criar agentes de IA que precisam de texto legível a partir de URLs.

Início rápido

1. 1

   Instale a biblioteca do GitHub com pip

   pip install git+https://github.com/m92vyas/llm-reader.git
2. 2

   Baixe o navegador do Playwright

   playwright install
3. 3

   Instale as dependências de sistema do Playwright

   playwright install-deps
4. 4

   Importe get_page_source e get_processed_text; depois, busque uma página e converta-a em texto pronto para LLM no seu código

Antes de usar

• !A obtenção de páginas depende do Playwright, que exige o download de um navegador e a instalação de dependências de sistema.
• !Sites que bloqueiam scrapers podem exigir um proxy pago ou um serviço de scraping.

Em coleções

Tópicos

Perguntas frequentes

O que é llm-reader?

Biblioteca Python que converte o HTML de páginas da web em texto pronto para LLMs, preservando links e tabelas para RAG e scraping. llm-reader é uma biblioteca Python que recebe uma página da web e a transforma em texto limpo, adequado para entrada de LLMs. O pré-processamento da página antes de enviá-la a um modelo busca melhorar a precisão da extração, especialmente em tarefas que envolvem obter links de sites, links de imagens ou tabelas, como no scraping de um catálogo de e-commerce.

llm-reader é gratuito? Qual é a licença?

llm-reader é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

llm-reader ainda é mantido?

Manutenção ativa. O último commit de llm-reader foi em 20 de out. de 2026.

Para que posso usar llm-reader?

Enviar conteúdo da web para um pipeline de RAG. Extrair nomes de produtos, links e preços de páginas de e-commerce com um LLM. Criar agentes de IA que precisam de texto legível a partir de URLs.

Como instalar llm-reader?

Instale a biblioteca do GitHub com pip: pip install git+https://github.com/m92vyas/llm-reader.git Baixe o navegador do Playwright: playwright install Instale as dependências de sistema do Playwright: playwright install-deps Importe get_page_source e get_processed_text; depois, busque uma página e converta-a em texto pronto para LLM no seu código

Onde consigo llm-reader?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/m92vyas/llm-reader