Open source проекты по теме «data-extraction»

Фреймворк для веб-скрейпинга на Python: от одиночных HTTP-запросов и stealth-браузеров до парсинга и параллельного обхода сайтов с экспортом данных.

Парсер документов с открытым исходным кодом: преобразует PDF, файлы Office, HTML и другие форматы в структурированные данные для генеративных AI-пайплайнов.

Библиотека для веб-скрейпинга на Python: извлекает структурированные данные с сайтов и из локальных документов с помощью LLM и графовых пайплайнов по текстовому запросу.

Веб-скрейпер на базе LLM и Streamlit, извлекающий данные со страниц с помощью моделей OpenAI, Gemini, Ollama или LiteLLM.

Открытый Python-веб-краулер, который преобразует сайты в чистый Markdown для LLM, извлекает структурированные данные с помощью CSS/LLM и при необходимости предоставляет API.