Repolode
Enviar
howie6879

howie6879/ruia

Microframework asíncrono de scraping web para Python, basado en asyncio y aiohttp, que busca facilitar al máximo el rastreo de URL.

Ver en GitHubSitio web
Estrellas
1,739
Forks
185
Issues abiertos
9
Último commit
hace 8 días

¿Qué es?

Ruia es un microframework de scraping web para Python 3.6 o versiones posteriores, construido sobre asyncio y aiohttp. Permite definir un spider de forma declarativa: se describen los datos que se quieren extraer y las reglas de análisis, y el framework gestiona las solicitudes concurrentes en el bucle de eventos.

El framework está diseñado para ser extensible. Los middlewares permiten intervenir en el flujo de solicitudes y respuestas, y los plugins amplían su comportamiento. La instalación en Linux y macOS puede incluir uvloop para acelerar el bucle de eventos, y el proyecto también menciona la compatibilidad con JavaScript entre sus capacidades.

El README enlaza a un proyecto independiente, ruia-cache, para almacenar en caché las respuestas durante la depuración y reducir la carga de solicitudes en los sitios de destino, y a ruia-shell para depurar scripts de forma interactiva. El rastreo distribuido figura como una función aún no implementada.

Funciones clave

  • 01Definición declarativa de spiders y elementos de datos
  • 02Basado en asyncio y aiohttp para realizar solicitudes concurrentes
  • 03Sistema de middlewares y plugins para ampliar sus funciones
  • 04Compatibilidad opcional con uvloop en Linux y macOS
  • 05Compatibilidad con JavaScript

Casos de uso

  • Extraer datos de muchas páginas en paralelo a partir de una lista de URL
  • Crear scripts pequeños y asíncronos de recopilación de datos en Python
  • Ampliar un crawler con middlewares o plugins personalizados

Inicio rápido

  1. 1

    Instalar en Linux o Mac (con uvloop)

    pip install -U ruia[uvloop]
  2. 2

    Instalar en Windows

    pip install -U ruia
  3. 3

    Lee los tutoriales para crear tu primera araña

Antes de usarlo

  • Ruia aún está en desarrollo, por lo que su API puede cambiar.
  • El rastreo/extracción distribuido figura como TODO y aún no está disponible.

En colecciones

Bibliotecas de concurrencia y asincronía

Temas

#web-scraping#crawler#asyncio#python#aiohttp#spider#async#asyncio-spider#crawling-framework#middlewares

Preguntas frecuentes

¿Qué es ruia?
Microframework asíncrono de scraping web para Python, basado en asyncio y aiohttp, que busca facilitar al máximo el rastreo de URL. Ruia es un microframework de scraping web para Python 3.6 o versiones posteriores, construido sobre asyncio y aiohttp. Permite definir un spider de forma declarativa: se describen los datos que se quieren extraer y las reglas de análisis, y el framework gestiona las solicitudes concurrentes en el bucle de eventos.
¿ruia es gratuito? ¿Qué licencia tiene?
ruia es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿ruia sigue mantenido?
Mantenimiento activo. El último commit de ruia fue el 30 oct 2026.
¿Para qué puedo usar ruia?
Extraer datos de muchas páginas en paralelo a partir de una lista de URL Crear scripts pequeños y asíncronos de recopilación de datos en Python Ampliar un crawler con middlewares o plugins personalizados
¿Cómo se instala ruia?
Instalar en Linux o Mac (con uvloop): pip install -U ruia[uvloop] Instalar en Windows: pip install -U ruia Lee los tutoriales para crear tu primera araña
¿Dónde consigo ruia?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/howie6879/ruia

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados