Repolode
Enviar
apache

apache/spark

Um mecanismo unificado de análise para processamento de dados em larga escala, com APIs em Scala, Java, Python e R.

Ver no GitHubSite
Estrelas
44,283
Forks
29,463
Issues abertas
692
Último commit
há 3 horas

O que é?

Apache Spark é um mecanismo distribuído para processar grandes conjuntos de dados. Ele oferece APIs de alto nível em Scala, Java, Python e R (R está obsoleto) e executa grafos de computação genéricos em um mecanismo de execução otimizado.

Além do mecanismo principal, o Spark inclui várias bibliotecas: Spark SQL para consultas SQL e DataFrames, a API pandas on Spark para executar código no estilo pandas em escala de cluster, MLlib para machine learning, GraphX para processamento de grafos e Structured Streaming para processamento de streams.

A maneira mais rápida de experimentar é usar o spark-shell (Scala) ou o shell pyspark (Python), incluídos no pacote. Exemplos podem ser enviados a um cluster configurando a URL do master, por exemplo, para um cluster Spark standalone ou para o YARN.

Recursos principais

  • 01APIs unificadas em Scala, Java, Python e R
  • 02Spark SQL para consultas SQL e DataFrames
  • 03API pandas on Spark para cargas de trabalho no estilo pandas em larga escala
  • 04MLlib para machine learning e GraphX para processamento de grafos
  • 05Structured Streaming para processamento de streams

Casos de uso

  • Executar grandes trabalhos de ETL em lote e análise de dados armazenados no HDFS ou em outros sistemas de armazenamento compatíveis com Hadoop
  • Escalar código pandas existente para conjuntos de dados grandes demais para uma única máquina
  • Criar pipelines de machine learning com big data usando MLlib
  • Processar fluxos contínuos de dados com Structured Streaming

Antes de usar

  • Segundo o README, a API R está obsoleta.
  • O selo do README indica que é necessário usar Java 17 ou uma versão posterior.

Em coleções

Bancos de dados e ferramentas SQL

Tópicos

#big-data#distributed-computing#sql#machine-learning#stream-processing#scala#python#data-engineering#java#jdbc

Perguntas frequentes

O que é spark?
Um mecanismo unificado de análise para processamento de dados em larga escala, com APIs em Scala, Java, Python e R. Apache Spark é um mecanismo distribuído para processar grandes conjuntos de dados. Ele oferece APIs de alto nível em Scala, Java, Python e R (R está obsoleto) e executa grafos de computação genéricos em um mecanismo de execução otimizado.
spark é gratuito? Qual é a licença?
spark é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
spark ainda é mantido?
Manutenção ativa. O último commit de spark foi em 22 de out. de 2026.
Para que posso usar spark?
Executar grandes trabalhos de ETL em lote e análise de dados armazenados no HDFS ou em outros sistemas de armazenamento compatíveis com Hadoop Escalar código pandas existente para conjuntos de dados grandes demais para uma única máquina Criar pipelines de machine learning com big data usando MLlib Processar fluxos contínuos de dados com Structured Streaming
Onde consigo spark?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apache/spark

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados