Framework de web scraping para Python que abarca desde solicitudes HTTP individuales y navegadores stealth hasta análisis y rastreos concurrentes completos con exportación.
88,6 mil9,1 milPythonBSD-3-ClauseActualizado anteayer
codelucas/newspaper
Biblioteca de Python 3 que descarga artículos de noticias y extrae el texto, los autores, la fecha de publicación, las imágenes, las palabras clave y los resúmenes.
- Estrellas
- 15,180
- Forks
- 2,107
- Issues abiertos
- 515
- Último commit
- anteayer
¿Qué es?
newspaper3k es una biblioteca de Python 3 que descarga artículos de noticias desde URL y convierte HTML sin procesar en datos estructurados. Al recibir la URL de un artículo, descarga la página y extrae el título, el cuerpo del texto, los autores, la fecha de publicación, la imagen principal, los videos incrustados y las palabras clave y el resumen obtenidos mediante NLP.
Además de procesar artículos individuales, puede rastrear la página de inicio y las páginas de categorías de un sitio de noticias para descubrir URL de artículos y enumerar las categorías del sitio. Una función fulltext independiente procesa HTML que ya hayas descargado. El idioma se detecta automáticamente, a menos que especifiques uno, y la biblioteca admite una lista de más de 35 idiomas, incluidos chino, japonés, árabe y ruso.
El proyecto se instala con pip con el nombre newspaper3k y se distribuye bajo la licencia MIT. Es el sucesor para Python 3 del paquete newspaper original.
Funciones clave
- 01Extrae de una URL el título, el cuerpo del texto, los autores y la fecha de publicación de un artículo
- 02Encuentra la imagen principal y todas las imágenes, además de los videos incrustados en un artículo
- 03Genera palabras clave y resúmenes mediante NLP integrado
- 04Descubre enlaces a artículos y categorías al rastrear un sitio de noticias
- 05Detecta automáticamente el idioma y admite más de 35 idiomas
Casos de uso
- Crear un agregador de noticias o una canalización de monitoreo que recopile artículos de muchos sitios
- Extraer texto limpio de artículos para NLP, indexación de búsquedas o creación de conjuntos de datos
- Archivar artículos junto con sus metadatos e imágenes
- Procesar noticias en chino u otros idiomas distintos del inglés
Inicio rápido
- 1
Instala el paquete con pip
pip3 install newspaper3k - 2
Ejecuta el script oficial de descarga de corpus indicado en el README (es necesario para las funciones de NLP)
Antes de usarlo
- En Debian/Ubuntu y otros sistemas Linux, primero hay que instalar bibliotecas de sistema adicionales, como libxml2 y libxslt.
- Las funciones de NLP, como las palabras clave y los resúmenes, requieren descargar corpus por separado.
Temas
Preguntas frecuentes
- ¿Qué es newspaper?
- Biblioteca de Python 3 que descarga artículos de noticias y extrae el texto, los autores, la fecha de publicación, las imágenes, las palabras clave y los resúmenes. newspaper3k es una biblioteca de Python 3 que descarga artículos de noticias desde URL y convierte HTML sin procesar en datos estructurados. Al recibir la URL de un artículo, descarga la página y extrae el título, el cuerpo del texto, los autores, la fecha de publicación, la imagen principal, los videos incrustados y las palabras clave y el resumen obtenidos mediante NLP.
- ¿newspaper es gratuito? ¿Qué licencia tiene?
- newspaper es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿newspaper sigue mantenido?
- Mantenimiento activo. El último commit de newspaper fue el 19 oct 2026.
- ¿Para qué puedo usar newspaper?
- Crear un agregador de noticias o una canalización de monitoreo que recopile artículos de muchos sitios Extraer texto limpio de artículos para NLP, indexación de búsquedas o creación de conjuntos de datos Archivar artículos junto con sus metadatos e imágenes Procesar noticias en chino u otros idiomas distintos del inglés
- ¿Cómo se instala newspaper?
- Instala el paquete con pip: pip3 install newspaper3k Ejecuta el script oficial de descarga de corpus indicado en el README (es necesario para las funciones de NLP)
- ¿Dónde consigo newspaper?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/codelucas/newspaper
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Paquete de Python y CLI para rastrear sitios web y extraer el texto principal, los metadatos y los comentarios del HTML sin procesar.
7 mil460PythonApache-2.0Actualizado hace 15 días
Paquete ligero de Python que busca en Google News y devuelve artículos en formato JSON, con extracción opcional del texto completo.
1 mil153PythonMITActualizado hace 12 días
Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto.
32 mil3,4 milPythonMITActualizado hace 15 días
Un motor de rastreo y extracción web en Rust, diseñado para la concurrencia, que renderiza JavaScript solo cuando hace falta.
2,8 mil316RustMITActualizado ayer
Rastreador web y herramienta de automatización del navegador, visual y sin código, para diseñar tareas de recopilación de datos haciendo clic en los elementos de una página.
44,7 mil5,4 milJavaScriptAGPL-3.0Actualizado anteayer