mishushakov/llm-scraper

Что это?

Ключевые возможности

• 01Извлекает данные по схемам, заданным с помощью Zod или JSON Schema, с полной типобезопасностью TypeScript.
• 02Работает с моделями GPT, Claude, Gemini, Llama и Qwen через Vercel AI SDK.
• 03Поддерживает шесть режимов входных данных: html, raw_html, markdown, text, image и custom.
• 04Передаёт частичные результаты по мере их генерации моделью.
• 05Создаёт переиспользуемый код Playwright для заданной схемы.

Сценарии использования

• Преобразование списков товаров или главных страниц новостных сайтов в JSON для базы данных или дашборда.
• Сбор данных с сайтов без API, макет которых часто меняется и из-за этого ломаются селекторы.
• Прототипирование извлечения данных с разными провайдерами LLM и сравнение результатов.
• Создание фиксированного скрипта Playwright по схеме, чтобы избежать повторных обращений к модели.

Быстрый старт

1. 1

   Установите основные зависимости из npm

   npm i zod playwright llm-scraper
2. 2

   Установите провайдер AI SDK для используемой LLM (например, OpenAI)

   npm i @ai-sdk/openai
3. 3

   Инициализируйте LLM и создайте экземпляр скрейпера, затем запустите его на странице

Что важно знать

• !Качество извлечения и стоимость зависят от выбранного провайдера LLM, для работы которого обычно требуется ключ API.

В подборках

Темы

Частые вопросы

Что такое llm-scraper?

Библиотека на TypeScript для извлечения структурированных данных с любых веб-страниц с помощью LLM; построена на Playwright и Zod или JSON Schema. LLM Scraper — библиотека на TypeScript, которая извлекает структурированные данные с веб-страниц с помощью больших языковых моделей. Вы запускаете браузер Playwright, открываете страницу, задаёте формат результата с помощью Zod или JSON Schema, а библиотека передаёт содержимое страницы модели и возвращает типизированные данные.

llm-scraper можно использовать бесплатно? Какая у него лицензия?

llm-scraper распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llm-scraper всё ещё поддерживается?

Активно поддерживается. Последний коммит в llm-scraper — 26 окт. 2026 г..

Для чего можно использовать llm-scraper?

Преобразование списков товаров или главных страниц новостных сайтов в JSON для базы данных или дашборда. Сбор данных с сайтов без API, макет которых часто меняется и из-за этого ломаются селекторы. Прототипирование извлечения данных с разными провайдерами LLM и сравнение результатов. Создание фиксированного скрипта Playwright по схеме, чтобы избежать повторных обращений к модели.

Как установить llm-scraper?

Установите основные зависимости из npm: npm i zod playwright llm-scraper Установите провайдер AI SDK для используемой LLM (например, OpenAI): npm i @ai-sdk/openai Инициализируйте LLM и создайте экземпляр скрейпера, затем запустите его на странице

Где скачать llm-scraper?

Исходный код и инструкции по установке — на GitHub: https://github.com/mishushakov/llm-scraper