Repolode
Предложить
adbar

adbar/trafilatura

Пакет Python и CLI для обхода сайтов и извлечения основного текста, метаданных и комментариев из исходного HTML.

Open source альтернатива:Diffbot

Открыть на GitHubСайт
Звёзды
6,995
Форки
460
Открытые issues
92
Последний коммит
14 дней назад

Что это?

Trafilatura — это пакет Python и инструмент командной строки для сбора текстов из интернета. Он охватывает поиск материалов (sitemap, ленты и фильтрацию URL), загрузку страниц и извлечение основного текста, метаданных — например, заголовка, автора и даты, — а при необходимости также комментариев, ссылок, изображений и таблиц. Задача — исключить из результата шаблонные элементы вроде шапок, подвалов и навигации, сохранив содержимое самой статьи.

Экстрактор основан на правилах и использует jusText и readability-lxml в качестве резервных вариантов. Результаты можно сохранять в форматах TXT, Markdown, CSV, JSON, HTML, XML и XML-TEI. База данных не требуется, поэтому библиотеку можно напрямую использовать в скриптах и конвейерах обработки данных.

Библиотека применяется для создания текстовых корпусов и наборов данных для NLP. Помимо Python, она поддерживает определение языка и интерфейс для R.

Ключевые возможности

  • 01Находит URL через sitemap и ленты RSS, Atom или JSON, поддерживая фильтрацию и удаление дубликатов.
  • 02Извлекает из HTML основной текст, заголовок, автора, дату, категории и теги.
  • 03При необходимости извлекает комментарии, ссылки, изображения и таблицы.
  • 04Сохраняет результаты в форматах TXT, Markdown, CSV, JSON, HTML, XML и XML-TEI.
  • 05Работает как с действующими URL, так и с ранее загруженными HTML-файлами.
  • 06Доступен в виде библиотеки Python и инструмента командной строки.

Сценарии использования

  • Создание текстовых корпусов для NLP и лингвистических исследований.
  • Сбор новостных статей с сайтов и из лент для анализа.
  • Подготовка очищенного веб-текста для конвейеров LLM или RAG.
  • Сбор содержимого статей без написания парсеров для отдельных сайтов.

Быстрый старт

  1. 1

    Установите Trafilatura, следуя руководству по установке в документации

  2. 2

    Импортируйте fetch_url и extract, загрузите страницу и извлеките её текст и метаданные, используя пример на Python из README

Что важно знать

  • Версии до v1.8.0 распространяются по лицензии GPLv3+, а не Apache 2.0.

Темы

#web-scraping#text-extraction#crawler#nlp#corpus-builder#html-to-markdown#readability#article-extractor#corpus-tools#html2text

Частые вопросы

Что такое trafilatura?
Пакет Python и CLI для обхода сайтов и извлечения основного текста, метаданных и комментариев из исходного HTML. Trafilatura — это пакет Python и инструмент командной строки для сбора текстов из интернета. Он охватывает поиск материалов (sitemap, ленты и фильтрацию URL), загрузку страниц и извлечение основного текста, метаданных — например, заголовка, автора и даты, — а при необходимости также комментариев, ссылок, изображений и таблиц. Задача — исключить из результата шаблонные элементы вроде шапок, подвалов и навигации, сохранив содержимое самой статьи.
trafilatura можно использовать бесплатно? Какая у него лицензия?
trafilatura распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
trafilatura всё ещё поддерживается?
Активно поддерживается. Последний коммит в trafilatura — 6 окт. 2026 г..
Для чего можно использовать trafilatura?
Создание текстовых корпусов для NLP и лингвистических исследований. Сбор новостных статей с сайтов и из лент для анализа. Подготовка очищенного веб-текста для конвейеров LLM или RAG. Сбор содержимого статей без написания парсеров для отдельных сайтов.
Как установить trafilatura?
Установите Trafilatura, следуя руководству по установке в документации Импортируйте fetch_url и extract, загрузите страницу и извлеките её текст и метаданные, используя пример на Python из README
Где скачать trafilatura?
Исходный код и инструкции по установке — на GitHub: https://github.com/adbar/trafilatura

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

getmaxun / maxun

Платформа с открытым исходным кодом, которая превращает сайты в структурированные API для скрейпинга, краулинга, поиска, мониторинга и извлечения данных с помощью ИИ.

Данные и аналитика#web-scraping#data-extraction#crawler
17,9 тыс.1,6 тыс.TypeScriptAGPL-3.0Обновлён позавчера