m92vyas/llm-reader

Что это?

Ключевые возможности

• 01Преобразует HTML веб-страниц в текст для LLM.
• 02Сохраняет ссылки на сайты и изображения для задач извлечения данных.
• 03Обрабатывает таблицы, что удобно для скрейпинга структурированных данных.
• 04Использует Playwright для асинхронного параллельного получения страниц.
• 05Позволяет передавать HTML страницы из собственного скрейпера или сервиса.

Сценарии использования

• Передача веб-контента в RAG-пайплайн.
• Извлечение названий товаров, ссылок и цен со страниц интернет-магазинов с помощью LLM.
• Создание AI-агентов, которым нужен читаемый текст со страниц по URL.

Быстрый старт

1. 1

   Установите библиотеку с GitHub с помощью pip

   pip install git+https://github.com/m92vyas/llm-reader.git
2. 2

   Скачайте браузер Playwright

   playwright install
3. 3

   Установите системные зависимости Playwright

   playwright install-deps
4. 4

   Импортируйте get_page_source и get_processed_text, затем загрузите страницу и преобразуйте её в текст, готовый для LLM, в своём коде

Что важно знать

• !Для получения страниц используется Playwright, которому требуются скачанный браузер и системные зависимости.
• !Для сайтов, блокирующих скрейперы, может понадобиться платный прокси или сервис скрейпинга.

В подборках

Темы

Частые вопросы

Что такое llm-reader?

Python-библиотека, которая преобразует HTML веб-страниц в текст для LLM, сохраняя ссылки и таблицы для RAG и веб-скрейпинга. llm-reader — это Python-библиотека, которая преобразует веб-страницы в чистый текст, подходящий для передачи LLM. Предварительная обработка страницы перед отправкой модели призвана повысить точность извлечения данных, особенно если нужно находить ссылки на сайты и изображения или извлекать таблицы, например при скрейпинге каталога интернет-магазина.

llm-reader можно использовать бесплатно? Какая у него лицензия?

llm-reader распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llm-reader всё ещё поддерживается?

Активно поддерживается. Последний коммит в llm-reader — 20 окт. 2026 г..

Для чего можно использовать llm-reader?

Передача веб-контента в RAG-пайплайн. Извлечение названий товаров, ссылок и цен со страниц интернет-магазинов с помощью LLM. Создание AI-агентов, которым нужен читаемый текст со страниц по URL.

Как установить llm-reader?

Установите библиотеку с GitHub с помощью pip: pip install git+https://github.com/m92vyas/llm-reader.git Скачайте браузер Playwright: playwright install Установите системные зависимости Playwright: playwright install-deps Импортируйте get_page_source и get_processed_text, затем загрузите страницу и преобразуйте её в текст, готовый для LLM, в своём коде

Где скачать llm-reader?

Исходный код и инструкции по установке — на GitHub: https://github.com/m92vyas/llm-reader