Automatización web de código abierto que usa LLM y visión artificial para ejecutar flujos de trabajo en cualquier sitio y amplía Playwright con comandos de IA.
23,4 mil+37 esta semana2,2 milPythonAGPL-3.0Actualizado hace 36 minutos
mishushakov/llm-scraper
Biblioteca de TypeScript que usa LLM para extraer datos estructurados de cualquier página web, basada en Playwright y Zod o JSON Schema.
- Estrellas
- 6,952
- Forks
- 451
- Issues abiertos
- 10
- Último commit
- hace 12 días
¿Qué es?
LLM Scraper es una biblioteca de TypeScript para extraer datos estructurados de páginas web con modelos de lenguaje grandes. Inicia un navegador de Playwright, abre una página, define la estructura de salida con Zod o JSON Schema y la biblioteca envía el contenido de la página al modelo y devuelve resultados tipados.
La biblioteca admite varios formatos de entrada: HTML preprocesado, HTML sin procesar, Markdown, texto extraído con Readability.js, una captura de pantalla para modelos multimodales o contenido personalizado generado por tu propia función. Funciona con modelos de OpenAI, Anthropic, Google, Groq y Ollama a través de Vercel AI SDK, y la versión 2.0 está preparada para AI SDK 6.
Además de permitir extracciones puntuales, puede transmitir objetos parciales a medida que se generan y crear código reutilizable de Playwright que realiza el mismo scraping sin volver a llamar al modelo.
Funciones clave
- 01Extrae datos mediante esquemas definidos con Zod o JSON Schema, con seguridad de tipos completa en TypeScript.
- 02Funciona con modelos GPT, Claude, Gemini, Llama y Qwen a través de Vercel AI SDK.
- 03Admite seis modos de entrada: html, raw_html, markdown, text, image y custom.
- 04Transmite resultados parciales a medida que los genera el modelo.
- 05Genera código reutilizable de Playwright para un esquema determinado.
Casos de uso
- Convertir listados de productos o portadas de noticias en JSON para una base de datos o un panel de control.
- Extraer datos de sitios que no tienen API y cuyo diseño cambia con frecuencia, donde los selectores dejarían de funcionar.
- Crear prototipos de extracción de datos con distintos proveedores de LLM y comparar los resultados.
- Generar un script fijo de Playwright a partir de un esquema para evitar llamadas repetidas al modelo.
Inicio rápido
- 1
Instala las dependencias principales desde npm
npm i zod playwright llm-scraper - 2
Instala el proveedor de AI SDK para el LLM que uses (p. ej., OpenAI)
npm i @ai-sdk/openai - 3
Inicializa el LLM y crea una instancia del scraper; después, ejecútala en una página
Antes de usarlo
- La calidad de la extracción y el coste dependen del proveedor de LLM que elijas, que normalmente requiere una clave de API.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es llm-scraper?
- Biblioteca de TypeScript que usa LLM para extraer datos estructurados de cualquier página web, basada en Playwright y Zod o JSON Schema. LLM Scraper es una biblioteca de TypeScript para extraer datos estructurados de páginas web con modelos de lenguaje grandes. Inicia un navegador de Playwright, abre una página, define la estructura de salida con Zod o JSON Schema y la biblioteca envía el contenido de la página al modelo y devuelve resultados tipados.
- ¿llm-scraper es gratuito? ¿Qué licencia tiene?
- llm-scraper es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿llm-scraper sigue mantenido?
- Mantenimiento activo. El último commit de llm-scraper fue el 26 oct 2026.
- ¿Para qué puedo usar llm-scraper?
- Convertir listados de productos o portadas de noticias en JSON para una base de datos o un panel de control. Extraer datos de sitios que no tienen API y cuyo diseño cambia con frecuencia, donde los selectores dejarían de funcionar. Crear prototipos de extracción de datos con distintos proveedores de LLM y comparar los resultados. Generar un script fijo de Playwright a partir de un esquema para evitar llamadas repetidas al modelo.
- ¿Cómo se instala llm-scraper?
- Instala las dependencias principales desde npm: npm i zod playwright llm-scraper Instala el proveedor de AI SDK para el LLM que uses (p. ej., OpenAI): npm i @ai-sdk/openai Inicializa el LLM y crea una instancia del scraper; después, ejecútala en una página
- ¿Dónde consigo llm-scraper?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mishushakov/llm-scraper
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
API de navegador de código abierto para agentes y aplicaciones de IA, con un sandbox administrado de Chrome que puedes controlar con Puppeteer, Playwright o Selenium.
7,9 mil+37 esta semana1 milTypeScriptApache-2.0Bien mantenidoActualizado hace 3 días
Infraestructura de navegadores en la nube y framework basado en Playwright para ejecutar automatizaciones web con agentes de IA, con stealth, resolución de CAPTCHA y proxies.
2,1 mil+4 esta semana186PythonOtherActualizado hace 6 horas
Toolkit para extraer datos y automatizar sitios web en vivo con un lenguaje de consulta basado en IA, compatible con Playwright, además de SDK y una API REST.
1,5 mil+8 esta semana178PythonMITBien mantenidoActualizado hace 4 días
SDK en TypeScript, Python y Go para agentes de navegador que controlan Chrome con llamadas en lenguaje natural a act, observe y extract, además de API al estilo Playwright.
26 mil+88 esta semana1,8 milTypeScriptMITActualizado hace 16 horas
Captura el tráfico de red de un sitio web mientras navegas tú o un agente de IA y genera un cliente API tipado para los endpoints que utiliza.
2,8 mil+246 esta semana291PythonMITBien mantenidoActualizado hace 56 minutos