Projetos open source sobre “data-extraction”

Framework de web scraping em Python para requisições HTTP, navegadores stealth, parsing e crawls concorrentes completos com exportação de dados.

Parser de documentos open source que converte PDFs, arquivos do Office, HTML e outros formatos em dados estruturados para pipelines de IA generativa.

Biblioteca Python de web scraping que usa LLMs e pipelines baseados em grafos para extrair dados estruturados de sites e documentos locais a partir de um prompt de texto.

Um scraper de web com tecnologia LLM, feito com Streamlit, que extrai dados de páginas usando modelos OpenAI, Gemini, Ollama ou LiteLLM.

Crawler web open source em Python que transforma qualquer site em Markdown limpo e pronto para LLMs, com extração estruturada baseada em CSS/LLM e uma API hospedada opcional.