mishushakov/llm-scraper

O que é?

Recursos principais

• 01Extrai dados usando schemas definidos com Zod ou JSON Schema, com segurança completa de tipos no TypeScript.
• 02Funciona com modelos GPT, Claude, Gemini, Llama e Qwen por meio do Vercel AI SDK.
• 03Aceita seis modos de entrada: html, raw_html, markdown, text, image e custom.
• 04Transmite resultados parciais à medida que o modelo os gera.
• 05Gera código Playwright reutilizável para um schema específico.

Casos de uso

• Transformar listagens de produtos ou páginas iniciais de notícias em JSON para um banco de dados ou dashboard.
• Extrair dados de sites sem API e cujo layout muda com frequência, onde seletores deixariam de funcionar.
• Prototipar a extração de dados com diferentes provedores de LLM e comparar os resultados.
• Gerar um script Playwright fixo a partir de um schema para evitar chamadas repetidas ao modelo.

Início rápido

1. 1

   Instale as dependências principais pelo npm

   npm i zod playwright llm-scraper
2. 2

   Instale o provider do AI SDK para o LLM que você usa (por exemplo, OpenAI)

   npm i @ai-sdk/openai
3. 3

   Inicialize o LLM e crie uma instância do scraper; depois, execute-a em uma página

Antes de usar

• !A qualidade da extração e o custo dependem do provider de LLM escolhido, que geralmente exige uma chave de API.

Em coleções

Tópicos

Perguntas frequentes

O que é llm-scraper?

Biblioteca TypeScript que usa LLMs para extrair dados estruturados de qualquer página da web, com Playwright e Zod ou JSON Schema. LLM Scraper é uma biblioteca TypeScript para extrair dados estruturados de páginas da web usando modelos de linguagem grandes. Você inicia um navegador Playwright, abre uma página, define o formato da saída com Zod ou JSON Schema, e a biblioteca envia o conteúdo da página ao modelo e retorna resultados tipados.

llm-scraper é gratuito? Qual é a licença?

llm-scraper é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

llm-scraper ainda é mantido?

Manutenção ativa. O último commit de llm-scraper foi em 26 de out. de 2026.

Para que posso usar llm-scraper?

Transformar listagens de produtos ou páginas iniciais de notícias em JSON para um banco de dados ou dashboard. Extrair dados de sites sem API e cujo layout muda com frequência, onde seletores deixariam de funcionar. Prototipar a extração de dados com diferentes provedores de LLM e comparar os resultados. Gerar um script Playwright fixo a partir de um schema para evitar chamadas repetidas ao modelo.

Como instalar llm-scraper?

Instale as dependências principais pelo npm: npm i zod playwright llm-scraper Instale o provider do AI SDK para o LLM que você usa (por exemplo, OpenAI): npm i @ai-sdk/openai Inicialize o LLM e crie uma instância do scraper; depois, execute-a em uma página

Onde consigo llm-scraper?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mishushakov/llm-scraper