Repolode
Enviar
codelucas

codelucas/newspaper

Biblioteca Python 3 que baixa artigos de notícias e extrai texto, autores, data de publicação, imagens, palavras-chave e resumos.

Ver no GitHubSite
Estrelas
15,180
Forks
2,107
Issues abertas
515
Último commit
anteontem

O que é?

newspaper3k é uma biblioteca Python 3 que busca artigos de notícias a partir de URLs e transforma HTML bruto em dados estruturados. Ao receber a URL de um artigo, ela baixa a página e extrai o título, o texto, os autores, a data de publicação, a imagem principal, vídeos incorporados e palavras-chave e resumo gerados por NLP.

Além de processar artigos individuais, ela pode rastrear a página inicial e as páginas de categorias de um site de notícias para encontrar URLs de artigos e listar as categorias do site. Uma função separada, fulltext, processa HTML que você já tenha buscado. O idioma é detectado automaticamente, a menos que você especifique um, e a biblioteca oferece suporte a uma lista de mais de 35 idiomas, incluindo chinês, japonês, árabe e russo.

O projeto é instalado com pip usando o nome newspaper3k e é distribuído sob a licença MIT. É o sucessor em Python 3 do pacote newspaper original.

Recursos principais

  • 01Extrai o título, o texto, os autores e a data de publicação de um artigo a partir de uma URL
  • 02Encontra a imagem principal e todas as imagens, além de vídeos incorporados, em um artigo
  • 03Gera palavras-chave e resumos usando NLP integrado
  • 04Encontra links de artigos e categorias ao rastrear um site de notícias
  • 05Detecta o idioma automaticamente e oferece suporte a mais de 35 idiomas

Casos de uso

  • Criar um agregador de notícias ou um pipeline de monitoramento que coleta artigos de vários sites
  • Extrair o texto limpo de artigos para NLP, indexação de busca ou criação de conjuntos de dados
  • Arquivar artigos com seus metadados e imagens
  • Processar notícias em chinês ou em outros idiomas que não sejam inglês

Início rápido

  1. 1

    Instale o pacote com pip

    pip3 install newspaper3k
  2. 2

    Execute o script oficial de download de corpora indicado no README (necessário para os recursos de NLP)

Antes de usar

  • No Debian/Ubuntu e em outros sistemas Linux, é preciso instalar primeiro bibliotecas de sistema adicionais, como libxml2 e libxslt.
  • Recursos de NLP, como palavras-chave e resumos, exigem o download adicional de corpora.

Tópicos

#python#web-scraping#news-extraction#article-parsing#nlp#crawler#crawling#news#news-aggregator#scraper

Perguntas frequentes

O que é newspaper?
Biblioteca Python 3 que baixa artigos de notícias e extrai texto, autores, data de publicação, imagens, palavras-chave e resumos. newspaper3k é uma biblioteca Python 3 que busca artigos de notícias a partir de URLs e transforma HTML bruto em dados estruturados. Ao receber a URL de um artigo, ela baixa a página e extrai o título, o texto, os autores, a data de publicação, a imagem principal, vídeos incorporados e palavras-chave e resumo gerados por NLP.
newspaper é gratuito? Qual é a licença?
newspaper é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
newspaper ainda é mantido?
Manutenção ativa. O último commit de newspaper foi em 19 de out. de 2026.
Para que posso usar newspaper?
Criar um agregador de notícias ou um pipeline de monitoramento que coleta artigos de vários sites Extrair o texto limpo de artigos para NLP, indexação de busca ou criação de conjuntos de dados Arquivar artigos com seus metadados e imagens Processar notícias em chinês ou em outros idiomas que não sejam inglês
Como instalar newspaper?
Instale o pacote com pip: pip3 install newspaper3k Execute o script oficial de download de corpora indicado no README (necessário para os recursos de NLP)
Onde consigo newspaper?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/codelucas/newspaper

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados