codelucas/newspaper

Что это?

Ключевые возможности

• 01Извлекает по URL заголовок статьи, основной текст, авторов и дату публикации
• 02Находит главное и все изображения статьи, а также встроенные видео
• 03Формирует ключевые слова и краткое содержание с помощью встроенных средств NLP
• 04Находит ссылки на статьи и категории, обходя новостной сайт
• 05Автоматически определяет язык и поддерживает более 35 языков

Сценарии использования

• Создание агрегатора новостей или конвейера мониторинга, который собирает статьи с множества сайтов
• Извлечение очищенного текста статей для NLP, поисковой индексации или создания датасетов
• Архивация статей вместе с метаданными и изображениями
• Обработка новостей на китайском и других языках, отличных от английского

Быстрый старт

1. 1

   Установите пакет с помощью pip

   pip3 install newspaper3k
2. 2

   Запустите официальный скрипт загрузки корпусов, указанный в README (он нужен для функций NLP)

Что важно знать

• !В Debian/Ubuntu и других системах Linux сначала необходимо установить дополнительные системные библиотеки, например libxml2 и libxslt.
• !Для функций NLP, таких как ключевые слова и сводки, требуется дополнительно загрузить корпуса.

Темы

Частые вопросы

Что такое newspaper?

Библиотека для Python 3, которая загружает новостные статьи и извлекает из них текст, авторов, дату публикации, изображения, ключевые слова и краткое содержание. newspaper3k — библиотека для Python 3, которая загружает новостные статьи по URL и преобразует исходный HTML в структурированные данные. Получив URL статьи, она загружает страницу, а затем извлекает заголовок, основной текст, авторов, дату публикации, главное изображение, встроенные видео, а также ключевые слова и краткое содержание, сформированные с помощью NLP.

newspaper можно использовать бесплатно? Какая у него лицензия?

newspaper распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

newspaper всё ещё поддерживается?

Активно поддерживается. Последний коммит в newspaper — 19 окт. 2026 г..

Для чего можно использовать newspaper?

Создание агрегатора новостей или конвейера мониторинга, который собирает статьи с множества сайтов Извлечение очищенного текста статей для NLP, поисковой индексации или создания датасетов Архивация статей вместе с метаданными и изображениями Обработка новостей на китайском и других языках, отличных от английского

Как установить newspaper?

Установите пакет с помощью pip: pip3 install newspaper3k Запустите официальный скрипт загрузки корпусов, указанный в README (он нужен для функций NLP)

Где скачать newspaper?

Исходный код и инструкции по установке — на GitHub: https://github.com/codelucas/newspaper