Repolode
Enviar
spencermountain

spencermountain/wtf_wikipedia

Una biblioteca de JavaScript que convierte wikitext de Wikipedia en texto plano, JSON estructurado, fichas, enlaces e imágenes.

Ver en GitHubSitio web
Estrellas
858
Forks
130
Issues abiertos
54
Último commit
anteayer

¿Qué es?

wtf_wikipedia convierte wikitext sin procesar de Wikipedia en datos útiles. Gestiona las plantillas, los enlaces anidados, las referencias y las citas que dificultan el análisis del marcado wiki, y devuelve un objeto de documento con métodos para obtener texto plano, secciones, oraciones, enlaces, categorías, fichas e imágenes.

La biblioteca puede obtener páginas directamente desde la API de MediaWiki, incluidas las de Wikipedias en otros idiomas y las de wikis de terceros, como Fandom. Los resultados se pueden exportar como texto plano o como JSON con perfiles pequeños, medianos o grandes. Detecta las redirecciones y las páginas de desambiguación, y convierte las plantillas dinámicas y las coordenadas geográficas en valores legibles.

Funciona en Node.js y en el navegador, incluye declaraciones de TypeScript y se puede ampliar con analizadores de plantillas personalizados y plugins. El proyecto indica que no es el analizador más rápido y que no admite datos de páginas transcluidas ni un formato HTML perfecto para las fichas.

Funciones clave

  • 01Analiza wikitext y lo convierte en texto plano, secciones, oraciones y párrafos.
  • 02Extrae datos clave-valor de fichas, enlaces, imágenes y categorías.
  • 03Obtiene páginas de Wikipedia en cualquier idioma y de wikis de terceros basadas en MediaWiki.
  • 04Exporta los datos de las páginas como JSON con perfiles pequeños, medianos o grandes.
  • 05Admite analizadores de plantillas personalizados y plugins, e incluye tipos de TypeScript.

Casos de uso

  • Crear conjuntos de datos de hechos estructurados —como listas de equipos deportivos o astronautas— a partir de tablas y fichas de Wikipedia.
  • Extraer texto limpio de artículos para tareas de NLP o indexación de búsquedas.
  • Procesar sin conexión un volcado completo de Wikipedia con la herramienta complementaria dumpster-dive.
  • Obtener datos de artículos de Fandom o de otras wikis basadas en MediaWiki.

Inicio rápido

  1. 1

    Instala el paquete desde npm

    npm install wtf_wikipedia
  2. 2

    Impórtalo y obtén un artículo de Wikipedia

  3. 3

    Lee texto sin formato del documento analizado

Antes de usarlo

  • No obtiene datos de páginas transcluidos desde páginas externas.
  • No conserva el orden exacto de la página ni mantiene los estilos CSS de las plantillas.
  • El análisis de wikitext es inherentemente imperfecto, por lo que algunas páginas podrían no mostrarse correctamente.

En colecciones

Herramientas y bibliotecas de procesamiento del lenguaje natural

Temas

#wikipedia#wikitext#parser#mediawiki#nlp#text-extraction#typescript#wikipedia-markup-parser

Preguntas frecuentes

¿Qué es wtf_wikipedia?
Una biblioteca de JavaScript que convierte wikitext de Wikipedia en texto plano, JSON estructurado, fichas, enlaces e imágenes. wtf_wikipedia convierte wikitext sin procesar de Wikipedia en datos útiles. Gestiona las plantillas, los enlaces anidados, las referencias y las citas que dificultan el análisis del marcado wiki, y devuelve un objeto de documento con métodos para obtener texto plano, secciones, oraciones, enlaces, categorías, fichas e imágenes.
¿wtf_wikipedia es gratuito? ¿Qué licencia tiene?
wtf_wikipedia es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿wtf_wikipedia sigue mantenido?
Mantenimiento activo. El último commit de wtf_wikipedia fue el 4 nov 2026.
¿Para qué puedo usar wtf_wikipedia?
Crear conjuntos de datos de hechos estructurados —como listas de equipos deportivos o astronautas— a partir de tablas y fichas de Wikipedia. Extraer texto limpio de artículos para tareas de NLP o indexación de búsquedas. Procesar sin conexión un volcado completo de Wikipedia con la herramienta complementaria dumpster-dive. Obtener datos de artículos de Fandom o de otras wikis basadas en MediaWiki.
¿Cómo se instala wtf_wikipedia?
Instala el paquete desde npm: npm install wtf_wikipedia Impórtalo y obtén un artículo de Wikipedia Lee texto sin formato del documento analizado
¿Dónde consigo wtf_wikipedia?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/spencermountain/wtf_wikipedia

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados