Framework de web scraping para Python que abarca desde solicitudes HTTP individuales y navegadores stealth hasta análisis y rastreos concurrentes completos con exportación.
88,6 mil9,1 milPythonBSD-3-ClauseActualizado hace 24 horas
adbar/trafilatura
Paquete de Python y CLI para rastrear sitios web y extraer el texto principal, los metadatos y los comentarios del HTML sin procesar.
Alternativa open source a:Diffbot
- Estrellas
- 6,995
- Forks
- 460
- Issues abiertos
- 92
- Último commit
- hace 14 días
¿Qué es?
Trafilatura es un paquete de Python y una herramienta de línea de comandos para recopilar texto de la web. Incluye descubrimiento (sitemaps, feeds y filtrado de URL), descarga y extracción del texto principal, metadatos como el título, el autor y la fecha, y, de forma opcional, comentarios, enlaces, imágenes y tablas. Su objetivo es excluir del resultado elementos superfluos como encabezados, pies de página y navegación, y conservar el contenido real del artículo.
El extractor se basa en reglas y recurre a jusText y readability-lxml como alternativas. Los resultados se pueden guardar en TXT, Markdown, CSV, JSON, HTML, XML o XML-TEI. No requiere una base de datos, por lo que se integra directamente en scripts y pipelines de datos.
La biblioteca se usa para crear corpus de texto y datasets de NLP, y admite la detección de idiomas y una interfaz para R, además de Python.
Funciones clave
- 01Descubre URL mediante sitemaps y feeds RSS, Atom o JSON, con filtrado y eliminación de duplicados.
- 02Extrae el texto principal, el título, el autor, la fecha, las categorías y las etiquetas del HTML.
- 03Extrae comentarios, enlaces, imágenes y tablas de forma opcional.
- 04Genera resultados en TXT, Markdown, CSV, JSON, HTML, XML y XML-TEI.
- 05Funciona tanto con URL activas como con archivos HTML descargados previamente.
- 06Está disponible como biblioteca de Python y como herramienta de línea de comandos.
Casos de uso
- Crear corpus de texto para NLP o investigación lingüística.
- Recopilar artículos de noticias de sitios web y feeds para analizarlos.
- Preparar texto web limpio para usarlo como entrada en pipelines de LLM o RAG.
- Extraer el contenido de artículos sin tener que escribir parsers específicos para cada sitio.
Inicio rápido
- 1
Instala Trafilatura siguiendo la guía de instalación de la documentación
- 2
Importa fetch_url y extract, descarga una página y extrae su texto y metadatos usando el ejemplo de Python del README
Antes de usarlo
- Las versiones anteriores a la v1.8.0 tienen licencia GPLv3+, no Apache 2.0.
Temas
Preguntas frecuentes
- ¿Qué es trafilatura?
- Paquete de Python y CLI para rastrear sitios web y extraer el texto principal, los metadatos y los comentarios del HTML sin procesar. Trafilatura es un paquete de Python y una herramienta de línea de comandos para recopilar texto de la web. Incluye descubrimiento (sitemaps, feeds y filtrado de URL), descarga y extracción del texto principal, metadatos como el título, el autor y la fecha, y, de forma opcional, comentarios, enlaces, imágenes y tablas. Su objetivo es excluir del resultado elementos superfluos como encabezados, pies de página y navegación, y conservar el contenido real del artículo.
- ¿trafilatura es gratuito? ¿Qué licencia tiene?
- trafilatura es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿trafilatura sigue mantenido?
- Mantenimiento activo. El último commit de trafilatura fue el 6 oct 2026.
- ¿Para qué puedo usar trafilatura?
- Crear corpus de texto para NLP o investigación lingüística. Recopilar artículos de noticias de sitios web y feeds para analizarlos. Preparar texto web limpio para usarlo como entrada en pipelines de LLM o RAG. Extraer el contenido de artículos sin tener que escribir parsers específicos para cada sitio.
- ¿Cómo se instala trafilatura?
- Instala Trafilatura siguiendo la guía de instalación de la documentación Importa fetch_url y extract, descarga una página y extrae su texto y metadatos usando el ejemplo de Python del README
- ¿Dónde consigo trafilatura?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/adbar/trafilatura
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Plataforma web de código abierto que convierte sitios web en API estructuradas para scraping, crawling, búsqueda, monitorización y extracción con IA.
17,9 mil1,6 milTypeScriptAGPL-3.0Actualizado anteayer
Un motor de rastreo y extracción web en Rust, diseñado para la concurrencia, que renderiza JavaScript solo cuando hace falta.
2,8 mil316RustMITActualizado hace 5 horas
Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
85,8 mil8,9 milPythonApache-2.0Actualizado ayer
Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto.
32 mil3,4 milPythonMITActualizado hace 14 días
Extensión de Chrome que detecta los sistemas anti-bot, CAPTCHA y técnicas de fingerprinting que usa un sitio web, con puntuaciones de confianza.
61170JavaScriptOtherActualizado hace 4 días