Herramienta de línea de comandos en Rust que obtiene datos de más de 55 sitios web, como Twitter/X, Reddit, YouTube y Hacker News, con un solo comando.
3 mil273RustApache-2.0Actualizado hace 6 meses
spider-rs/spider
Un motor de rastreo y extracción web en Rust, diseñado para la concurrencia, que renderiza JavaScript solo cuando hace falta.
Alternativa open source a:Scrapy Cloud
Apify
- Estrellas
- 2,790
- Forks
- 316
- Issues abiertos
- 4
- Último commit
- hace 8 horas
¿Qué es?
Spider es un motor de rastreo y extracción web escrito en Rust. Transmite las páginas a medida que las obtiene, usa HTTP simple de forma predeterminada y solo inicia Chrome headless para las páginas que requieren renderizado de JavaScript. La misma API sirve tanto para un script local como para una configuración con workers distribuidos.
La biblioteca gestiona el descubrimiento de enlaces, los límites de profundidad y concurrencia, las demoras, el manejo de robots.txt, el control de subdominios y la configuración del user-agent. Incluye proxies, reintentos, limitación de solicitudes y opciones de sigilo. También se puede ejecutar el mismo motor en Spider Cloud y pasar a usar proxies administrados y protección contra bots con solo cambiar la configuración.
Hay bindings y herramientas para Rust, la línea de comandos, Node.js y Python, además de un servidor MCP para asistentes de IA.
Funciones clave
- 01Transmite las páginas a medida que las obtiene, en lugar de esperar a que termine el rastreo.
- 02Usa HTTP de forma predeterminada y solo inicia Chrome headless para páginas con mucho JavaScript.
- 03Controla la concurrencia, la profundidad del rastreo, las demoras entre solicitudes y el cumplimiento de robots.txt.
- 04Incluye opciones integradas de proxy, reintentos, limitación de solicitudes y sigilo.
- 05Ofrece bindings para Rust, Node.js y Python, además de una CLI y un servidor MCP.
Casos de uso
- Enviar contenido web a almacenes vectoriales para pipelines de LLM o RAG.
- Supervisar cambios de SEO o actualizaciones de precios en sitios web.
- Exportar las páginas rastreadas como archivos Markdown, JSON o WARC.
- Controlar Chrome headless para agentes de navegación con IA.
Inicio rápido
- 1
Añade la biblioteca Rust a tu proyecto
cargo add spider - 2
O instala la herramienta de línea de comandos
cargo install spider_cli - 3
Escribe un rastreador con Website::new y crawl().await (consulta el ejemplo del README)
Antes de usarlo
- Para acceder a todas las funciones de Spider Cloud, necesitas una clave de API gratuita o de pago de un servicio de terceros.
Temas
Preguntas frecuentes
- ¿Qué es spider?
- Un motor de rastreo y extracción web en Rust, diseñado para la concurrencia, que renderiza JavaScript solo cuando hace falta. Spider es un motor de rastreo y extracción web escrito en Rust. Transmite las páginas a medida que las obtiene, usa HTTP simple de forma predeterminada y solo inicia Chrome headless para las páginas que requieren renderizado de JavaScript. La misma API sirve tanto para un script local como para una configuración con workers distribuidos.
- ¿spider es gratuito? ¿Qué licencia tiene?
- spider es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿spider sigue mantenido?
- Mantenimiento activo. El último commit de spider fue el 20 oct 2026.
- ¿Para qué puedo usar spider?
- Enviar contenido web a almacenes vectoriales para pipelines de LLM o RAG. Supervisar cambios de SEO o actualizaciones de precios en sitios web. Exportar las páginas rastreadas como archivos Markdown, JSON o WARC. Controlar Chrome headless para agentes de navegación con IA.
- ¿Cómo se instala spider?
- Añade la biblioteca Rust a tu proyecto: cargo add spider O instala la herramienta de línea de comandos: cargo install spider_cli Escribe un rastreador con Website::new y crawl().await (consulta el ejemplo del README)
- ¿Dónde consigo spider?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/spider-rs/spider
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
85,8 mil8,9 milPythonApache-2.0Actualizado anteayer
Agente de IA de código abierto y propósito general que se ejecuta en tu equipo como app de escritorio, CLI o API integrable, para tareas de programación y de otro tipo.
55,5 mil6,5 milRustApache-2.0Actualizado hace 13 horas
Una herramienta de línea de comandos que unifica las API de Google Workspace, como Drive, Gmail, Calendar, Sheets, Docs y Chat, y ofrece salida JSON para scripts y agentes de IA.
31,7 mil2 milRustApache-2.0Actualizado hace 14 días
Un navegador pensado para que tú y tus agentes de IA lo usen en paralelo: los agentes ejecutan tareas en Spaces aislados mientras tus pestañas y sesiones siguen intactas.
17,7 mil964JavaScriptMITActualizado ayer
Una biblioteca de Rust para crear aplicaciones con LLM y un agente de programación para terminal basado en ella, cuyas funciones son plugins de Bevy.
8,9 mil991RustMITActualizado hace 15 horas