Repolode
Enviar
spencermountain

spencermountain/wtf_wikipedia

Uma biblioteca JavaScript que converte wikitext da Wikipedia em texto simples, JSON estruturado, infoboxes, links e imagens.

Ver no GitHubSite
Estrelas
858
Forks
130
Issues abertas
54
Último commit
há 3 dias

O que é?

wtf_wikipedia transforma wikitext bruto da Wikipedia em dados prontos para uso. A biblioteca lida com templates, links aninhados, referências e citações, que tornam a marcação wiki difícil de analisar, e retorna um objeto de documento com métodos para obter texto simples, seções, frases, links, categorias, infoboxes e imagens.

A biblioteca pode buscar páginas diretamente pela API do MediaWiki, incluindo Wikipedias em outros idiomas e wikis de terceiros, como o Fandom. Os dados podem ser exportados como texto simples ou JSON, em formatos pequeno, médio ou grande. Redirecionamentos e páginas de desambiguação são detectados, e templates dinâmicos e coordenadas geográficas são convertidos em valores legíveis.

Funciona no Node.js e no navegador, inclui declarações TypeScript e pode ser estendida com parsers de templates personalizados e plugins. O projeto informa que não é o parser mais rápido e que não oferece suporte a dados de páginas transcluídas nem à formatação perfeita de HTML de infoboxes.

Recursos principais

  • 01Converte wikitext em texto simples, seções, frases e parágrafos.
  • 02Extrai dados de chave e valor de infoboxes, links, imagens e categorias.
  • 03Busca páginas da Wikipedia em qualquer idioma e de wikis de terceiros baseadas em MediaWiki.
  • 04Exporta dados de páginas como JSON em formatos pequeno, médio ou grande.
  • 05Oferece suporte a parsers de templates personalizados e plugins, com tipos TypeScript incluídos.

Casos de uso

  • Criar conjuntos de dados de fatos estruturados, como escalações esportivas ou listas de astronautas, a partir de tabelas e infoboxes da Wikipedia.
  • Extrair texto limpo de artigos para NLP ou indexação de buscas.
  • Processar um dump completo da Wikipedia offline com a ferramenta complementar dumpster-dive.
  • Obter dados de artigos de wikis do Fandom ou de outras wikis baseadas em MediaWiki.

Início rápido

  1. 1

    Instale o pacote pelo npm

    npm install wtf_wikipedia
  2. 2

    Importe-o e busque um artigo da Wikipedia

  3. 3

    Leia o texto simples do documento analisado

Antes de usar

  • Não busca dados de páginas transcluídos de páginas externas.
  • Não preserva a ordem exata da página nem mantém os estilos CSS dos templates.
  • A análise de wikitext é inerentemente imperfeita, então algumas páginas podem não ser renderizadas corretamente.

Em coleções

Ferramentas e bibliotecas de processamento de linguagem natural

Tópicos

#wikipedia#wikitext#parser#mediawiki#nlp#text-extraction#typescript#wikipedia-markup-parser

Perguntas frequentes

O que é wtf_wikipedia?
Uma biblioteca JavaScript que converte wikitext da Wikipedia em texto simples, JSON estruturado, infoboxes, links e imagens. wtf_wikipedia transforma wikitext bruto da Wikipedia em dados prontos para uso. A biblioteca lida com templates, links aninhados, referências e citações, que tornam a marcação wiki difícil de analisar, e retorna um objeto de documento com métodos para obter texto simples, seções, frases, links, categorias, infoboxes e imagens.
wtf_wikipedia é gratuito? Qual é a licença?
wtf_wikipedia é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
wtf_wikipedia ainda é mantido?
Manutenção ativa. O último commit de wtf_wikipedia foi em 4 de nov. de 2026.
Para que posso usar wtf_wikipedia?
Criar conjuntos de dados de fatos estruturados, como escalações esportivas ou listas de astronautas, a partir de tabelas e infoboxes da Wikipedia. Extrair texto limpo de artigos para NLP ou indexação de buscas. Processar um dump completo da Wikipedia offline com a ferramenta complementar dumpster-dive. Obter dados de artigos de wikis do Fandom ou de outras wikis baseadas em MediaWiki.
Como instalar wtf_wikipedia?
Instale o pacote pelo npm: npm install wtf_wikipedia Importe-o e busque um artigo da Wikipedia Leia o texto simples do documento analisado
Onde consigo wtf_wikipedia?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/spencermountain/wtf_wikipedia

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados