adbar/trafilatura

O que é?

Recursos principais

• 01Descobre URLs em sitemaps e feeds RSS, Atom ou JSON, com filtragem e remoção de duplicatas.
• 02Extrai o texto principal, o título, o autor, a data, as categorias e as tags do HTML.
• 03Extrai comentários, links, imagens e tabelas opcionalmente.
• 04Gera arquivos nos formatos TXT, Markdown, CSV, JSON, HTML, XML e XML-TEI.
• 05Funciona tanto com URLs ativas quanto com arquivos HTML baixados anteriormente.
• 06Disponível como biblioteca Python e ferramenta de linha de comando.

Casos de uso

• Criar corpora de texto para NLP ou pesquisas linguísticas.
• Coletar artigos de notícias de sites e feeds para análise.
• Preparar texto limpo da web para usar em pipelines de LLM ou RAG.
• Extrair o conteúdo de artigos sem precisar escrever parsers específicos para cada site.

Início rápido

1. 1

   Instale o Trafilatura seguindo o guia de instalação da documentação

2. 2

   Importe fetch_url e extract, baixe uma página e extraia o texto e os metadados usando o exemplo em Python do README

Antes de usar

• !As versões anteriores à v1.8.0 são licenciadas sob GPLv3+, e não Apache 2.0.

Tópicos

Perguntas frequentes

O que é trafilatura?

Pacote Python e CLI para rastrear sites e extrair o texto principal, metadados e comentários de HTML bruto. Trafilatura é um pacote Python e uma ferramenta de linha de comando para coletar textos da web. Ele inclui descoberta de conteúdo (sitemaps, feeds e filtragem de URLs), download e extração do texto principal, de metadados como título, autor e data e, opcionalmente, de comentários, links, imagens e tabelas. O objetivo é deixar de fora elementos supérfluos, como cabeçalhos, rodapés e menus de navegação, e manter o conteúdo propriamente dito do artigo.

trafilatura é gratuito? Qual é a licença?

trafilatura é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

trafilatura ainda é mantido?

Manutenção ativa. O último commit de trafilatura foi em 6 de out. de 2026.

Para que posso usar trafilatura?

Criar corpora de texto para NLP ou pesquisas linguísticas. Coletar artigos de notícias de sites e feeds para análise. Preparar texto limpo da web para usar em pipelines de LLM ou RAG. Extrair o conteúdo de artigos sem precisar escrever parsers específicos para cada site.

Como instalar trafilatura?

Instale o Trafilatura seguindo o guia de instalação da documentação Importe fetch_url e extract, baixe uma página e extraia o texto e os metadados usando o exemplo em Python do README

Onde consigo trafilatura?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/adbar/trafilatura