spark은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

spark은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

spark은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. spark의 마지막 커밋은 2026년 10월 22일입니다.

spark은(는) 어디에 사용할 수 있나요?

HDFS 또는 기타 Hadoop 호환 스토리지의 데이터를 대상으로 대규모 배치 ETL 및 분석 작업 실행 단일 머신에서 처리하기에는 너무 큰 데이터셋에 기존 pandas 코드를 적용할 수 있도록 확장 MLlib을 사용해 빅데이터 기반 머신러닝 파이프라인 구축 Structured Streaming으로 연속 데이터 스트림 처리

spark은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apache/spark

apache/spark

Scala, Java, Python, R API를 제공하는 대규모 데이터 처리를 위한 통합 분석 엔진입니다.

GitHub에서 보기 웹사이트

스타: 44,283
포크: 29,463
열린 이슈: 692
마지막 커밋: 4시간 전

어떤 프로젝트인가요?

Apache Spark는 대규모 데이터셋을 처리하는 분산 엔진입니다. Scala, Java, Python, R(R은 deprecated)에서 사용할 수 있는 고수준 API를 제공하며, 최적화된 실행 엔진에서 일반적인 계산 그래프를 실행합니다.

핵심 엔진 위에 Spark는 여러 라이브러리를 제공합니다. SQL 쿼리와 DataFrame을 위한 Spark SQL, 클러스터 규모로 pandas 스타일 코드를 실행하는 pandas API on Spark, 머신러닝을 위한 MLlib, 그래프 처리를 위한 GraphX, 스트림 처리를 위한 Structured Streaming이 있습니다.

가장 빠르게 사용해 보려면 함께 제공되는 spark-shell(Scala) 또는 pyspark(Python) 셸을 이용하면 됩니다. 마스터 URL을 설정하면 예를 들어 Spark standalone 클러스터나 YARN에 예제를 제출할 수 있습니다.

핵심 기능

01Scala, Java, Python, R에서 사용할 수 있는 통합 API
02SQL 쿼리와 DataFrame을 위한 Spark SQL
03대규모 pandas 스타일 워크로드를 위한 pandas API on Spark
04머신러닝을 위한 MLlib 및 그래프 처리를 위한 GraphX
05스트림 처리를 위한 Structured Streaming

활용 사례

HDFS 또는 기타 Hadoop 호환 스토리지의 데이터를 대상으로 대규모 배치 ETL 및 분석 작업 실행
단일 머신에서 처리하기에는 너무 큰 데이터셋에 기존 pandas 코드를 적용할 수 있도록 확장
MLlib을 사용해 빅데이터 기반 머신러닝 파이프라인 구축
Structured Streaming으로 연속 데이터 스트림 처리

사용 전 알아둘 점

README에 따르면 R API는 deprecated 상태입니다.
README 배지에 따르면 Java 17 이상이 필요합니다.

포함된 컬렉션

데이터베이스 & SQL 도구

토픽

#big-data #distributed-computing #sql #machine-learning #stream-processing #scala #python #data-engineering #java #jdbc

자주 묻는 질문

spark은(는) 무엇인가요?: Scala, Java, Python, R API를 제공하는 대규모 데이터 처리를 위한 통합 분석 엔진입니다. Apache Spark는 대규모 데이터셋을 처리하는 분산 엔진입니다. Scala, Java, Python, R(R은 deprecated)에서 사용할 수 있는 고수준 API를 제공하며, 최적화된 실행 엔진에서 일반적인 계산 그래프를 실행합니다.
spark은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: spark은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
spark은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. spark의 마지막 커밋은 2026년 10월 22일입니다.
spark은(는) 어디에 사용할 수 있나요?: HDFS 또는 기타 Hadoop 호환 스토리지의 데이터를 대상으로 대규모 배치 ETL 및 분석 작업 실행 단일 머신에서 처리하기에는 너무 큰 데이터셋에 기존 pandas 코드를 적용할 수 있도록 확장 MLlib을 사용해 빅데이터 기반 머신러닝 파이프라인 구축 Structured Streaming으로 연속 데이터 스트림 처리
spark은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apache/spark

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.