Repolode
제출하기
microsoft

microsoft/SynapseML

Apache Spark 파이프라인에 분산 머신러닝, 딥러닝 및 Azure AI 서비스를 추가하는 오픈소스 라이브러리입니다.

GitHub에서 보기웹사이트
스타
5,254
포크
869
열린 이슈
144
마지막 커밋
3일 전

어떤 프로젝트인가요?

SynapseML(이전 이름: MMLSpark)은 Apache Spark에서 대규모 머신러닝 파이프라인을 구축하기 위한 라이브러리입니다. Spark MLlib과 같은 스타일의 조합 가능한 API를 제공하므로, 기존 Spark 워크플로에 estimator와 transformer를 그대로 추가할 수 있습니다. 지원하는 작업에는 텍스트 분석, 컴퓨터 비전, 이상 탐지, LightGBM을 사용한 그래디언트 부스팅, Vowpal Wabbit이 포함됩니다.

모델 학습 외에도 Spark 연산을 웹 서비스로 제공하는 Spark Serving, ONNX 기반 분산 모델 추론, 클러스터에서 임의의 웹 API를 호출하는 HTTP-on-Spark를 포함합니다. 또한 Spark DataFrames에서 Azure Cognitive Services를 대규모로 호출할 수 있도록 래퍼를 제공합니다.

이 라이브러리는 특정 Spark 버전용 JVM 아티팩트(Spark 3.5는 Scala 2.12, Spark 4.0 및 4.1은 Scala 2.13)로 배포되며, Python 래퍼는 PyPI에서 제공됩니다. Microsoft Fabric, Azure Synapse, Databricks, EMR, HDInsight 및 독립 실행형 Spark에서 사용할 수 있습니다.

핵심 기능

  • 01SparkML/MLlib API를 따르는 estimator와 transformer
  • 02Spark에서 LightGBM 그래디언트 부스팅 및 Vowpal Wabbit 텍스트 모델 지원
  • 03Spark 연산을 지연 시간이 짧은 웹 서비스로 제공하는 Spark Serving
  • 04Spark에서 ONNX 모델 분산 추론
  • 05DataFrames에서 호출하는 Azure Cognitive Services 래퍼
  • 06분산 이상 탐지를 위한 Isolation Forest

활용 사례

  • 기존 Spark 클러스터에서 매우 큰 데이터셋으로 그래디언트 부스팅 모델 학습
  • 데이터 레이크에 저장된 대규모 테이블을 대상으로 텍스트 분석 또는 비전 서비스 실행
  • 온라인 스코어링을 위해 Spark 파이프라인을 HTTP 엔드포인트로 배포
  • Spark 작업 내에서 대규모로 ONNX 모델 스코어링

토픽

#apache-spark#machine-learning#distributed-computing#deep-learning#lightgbm#onnx#big-data#pyspark#ai#azure

자주 묻는 질문

SynapseML은(는) 무엇인가요?
Apache Spark 파이프라인에 분산 머신러닝, 딥러닝 및 Azure AI 서비스를 추가하는 오픈소스 라이브러리입니다. SynapseML(이전 이름: MMLSpark)은 Apache Spark에서 대규모 머신러닝 파이프라인을 구축하기 위한 라이브러리입니다. Spark MLlib과 같은 스타일의 조합 가능한 API를 제공하므로, 기존 Spark 워크플로에 estimator와 transformer를 그대로 추가할 수 있습니다. 지원하는 작업에는 텍스트 분석, 컴퓨터 비전, 이상 탐지, LightGBM을 사용한 그래디언트 부스팅, Vowpal Wabbit이 포함됩니다.
SynapseML은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
SynapseML은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
SynapseML은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. SynapseML의 마지막 커밋은 2026년 11월 4일입니다.
SynapseML은(는) 어디에 사용할 수 있나요?
기존 Spark 클러스터에서 매우 큰 데이터셋으로 그래디언트 부스팅 모델 학습 데이터 레이크에 저장된 대규모 테이블을 대상으로 텍스트 분석 또는 비전 서비스 실행 온라인 스코어링을 위해 Spark 파이프라인을 HTTP 엔드포인트로 배포 Spark 작업 내에서 대규모로 ONNX 모델 스코어링
SynapseML은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/SynapseML

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트