Repolode
Enviar
apache

apache/spark

Motor unificado de análisis para procesar datos a gran escala, con API en Scala, Java, Python y R.

Ver en GitHubSitio web
Estrellas
44,283
Forks
29,463
Issues abiertos
692
Último commit
hace 4 horas

¿Qué es?

Apache Spark es un motor distribuido para procesar grandes conjuntos de datos. Ofrece API de alto nivel en Scala, Java, Python y R (R está obsoleto) y ejecuta grafos de computación de propósito general en un motor de ejecución optimizado.

Además del motor principal, Spark incluye varias bibliotecas: Spark SQL para consultas SQL y DataFrames, la API de pandas en Spark para ejecutar código al estilo de pandas a escala de clúster, MLlib para aprendizaje automático, GraphX para procesar grafos y Structured Streaming para procesar flujos de datos.

La forma más rápida de probarlo es usar los intérpretes incluidos spark-shell (Scala) o pyspark (Python). Para enviar ejemplos a un clúster, se puede configurar la URL del master, por ejemplo, la de un clúster independiente de Spark o la de YARN.

Funciones clave

  • 01API unificadas en Scala, Java, Python y R
  • 02Spark SQL para consultas SQL y DataFrames
  • 03API de pandas en Spark para cargas de trabajo al estilo de pandas a escala
  • 04MLlib para aprendizaje automático y GraphX para procesar grafos
  • 05Structured Streaming para procesar flujos de datos

Casos de uso

  • Ejecutar trabajos de ETL por lotes y análisis a gran escala con datos almacenados en HDFS u otros sistemas de almacenamiento compatibles con Hadoop
  • Escalar código existente de pandas para trabajar con conjuntos de datos demasiado grandes para una sola máquina
  • Crear pipelines de aprendizaje automático con big data mediante MLlib
  • Procesar flujos continuos de datos con Structured Streaming

Antes de usarlo

  • Según el README, la API de R está obsoleta.
  • La insignia del README indica que se requiere Java 17 o posterior.

En colecciones

Bases de datos y herramientas SQL

Temas

#big-data#distributed-computing#sql#machine-learning#stream-processing#scala#python#data-engineering#java#jdbc

Preguntas frecuentes

¿Qué es spark?
Motor unificado de análisis para procesar datos a gran escala, con API en Scala, Java, Python y R. Apache Spark es un motor distribuido para procesar grandes conjuntos de datos. Ofrece API de alto nivel en Scala, Java, Python y R (R está obsoleto) y ejecuta grafos de computación de propósito general en un motor de ejecución optimizado.
¿spark es gratuito? ¿Qué licencia tiene?
spark es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿spark sigue mantenido?
Mantenimiento activo. El último commit de spark fue el 22 oct 2026.
¿Para qué puedo usar spark?
Ejecutar trabajos de ETL por lotes y análisis a gran escala con datos almacenados en HDFS u otros sistemas de almacenamiento compatibles con Hadoop Escalar código existente de pandas para trabajar con conjuntos de datos demasiado grandes para una sola máquina Crear pipelines de aprendizaje automático con big data mediante MLlib Procesar flujos continuos de datos con Structured Streaming
¿Dónde consigo spark?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/apache/spark

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados