Repolode
投稿する
apache

apache/spark

Scala、Java、Python、RのAPIを備えた、大規模データ処理向けの統合分析エンジン。

GitHub で見る公式サイト
スター
44,283
フォーク
29,463
未解決の Issue
692
最終コミット
4 時間前

これは何？

Apache Sparkは、大規模なデータセットを処理する分散エンジンです。Scala、Java、Python、R（Rは非推奨）の高水準APIを提供し、最適化された実行エンジン上で汎用的な計算グラフを実行します。

コアエンジンに加えて、Sparkには複数のライブラリが用意されています。SQLクエリとDataFrame向けのSpark SQL、クラスタ規模でpandas風のコードを実行するpandas API on Spark、機械学習向けのMLlib、グラフ処理向けのGraphX、ストリーム処理向けのStructured Streamingです。

手軽に試すには、同梱のspark-shell（Scala）またはpyspark（Python）シェルを使います。マスターURLを指定すれば、たとえばSpark standaloneクラスタやYARNにサンプルを送信できます。

主な機能

  • 01Scala、Java、Python、Rで使える統合API
  • 02SQLクエリとDataFrame向けのSpark SQL
  • 03大規模データに対するpandas風の処理を可能にするpandas API on Spark
  • 04機械学習向けのMLlibとグラフ処理向けのGraphX
  • 05ストリーム処理向けのStructured Streaming

ユースケース

  • HDFSやその他のHadoop互換ストレージ上のデータを対象に、大規模なバッチETLや分析ジョブを実行する
  • 単一マシンでは扱えない大きさのデータセットに合わせて、既存のpandasコードをスケールさせる
  • MLlibでビッグデータ向けの機械学習パイプラインを構築する
  • Structured Streamingで継続的なデータストリームを処理する

使う前に知っておきたいこと

  • READMEによると、R APIは非推奨です。
  • READMEのバッジによると、Java 17以降が必要です。

収録されている特集

データベースと SQL ツール

トピック

#big-data#distributed-computing#sql#machine-learning#stream-processing#scala#python#data-engineering#java#jdbc

よくある質問

spark とは？
Scala、Java、Python、RのAPIを備えた、大規模データ処理向けの統合分析エンジン。 Apache Sparkは、大規模なデータセットを処理する分散エンジンです。Scala、Java、Python、R（Rは非推奨）の高水準APIを提供し、最適化された実行エンジン上で汎用的な計算グラフを実行します。
spark は無料で使えますか？ライセンスは？
spark は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
spark は今もメンテナンスされていますか？
活発にメンテナンス中。spark の最終コミットは 2026年10月22日 です。
spark は何に使えますか？
HDFSやその他のHadoop互換ストレージ上のデータを対象に、大規模なバッチETLや分析ジョブを実行する 単一マシンでは扱えない大きさのデータセットに合わせて、既存のpandasコードをスケールさせる MLlibでビッグデータ向けの機械学習パイプラインを構築する Structured Streamingで継続的なデータストリームを処理する
spark はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/apache/spark

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト