Apache Airflow는 Python 코드로 정의한 워크플로를 작성하고 예약하며 모니터링하는 플랫폼입니다.
apache/nifi
Apache NiFi는 브라우저 UI에서 관리하며 소스와 대상 간 데이터 흐름을 자동화하고 라우팅 및 모니터링하는 시스템입니다.
대체할 수 있는 제품:Informatica PowerCenter
Talend
- 스타
- 6,269
- 포크
- 2,989
- 열린 이슈
- 57
- 마지막 커밋
- 12시간 전
어떤 프로젝트인가요?
Apache NiFi는 데이터를 처리하고 배포하는 데이터 흐름 시스템입니다. 사용자는 브라우저 기반 인터페이스에서 프로세서를 연결해 파이프라인을 구성하며, 프로세서는 시스템 간 데이터 이동, 변환, 라우팅 등의 작업을 처리합니다. 이 프로젝트는 사이버 보안, 옵저버빌리티, 이벤트 스트림, 생성형 AI 데이터 파이프라인을 위한 용도로 소개됩니다.
NiFi는 각 데이터의 출처 정보를 추적하므로 운영자는 처리 이력을 검색하고 소스부터 대상까지 데이터 계보를 추적할 수 있습니다. 흐름은 설정 가능한 우선순위로 실행할 수 있고, 재시도 및 백오프를 통해 전달을 보장하며, 클러스터링으로 수평 확장할 수 있습니다.
이 시스템은 Processor 및 Controller Service를 위한 플러그인 인터페이스로 확장할 수 있고, 네이티브 Python으로 작성한 Processor를 지원하며, 오케스트레이션 및 모니터링을 위한 REST API를 제공합니다. 보안 옵션에는 기본 HTTPS, OpenID Connect 또는 SAML 2를 통한 싱글 사인온, 역할 기반 권한 부여, TLS 암호화가 포함됩니다.
핵심 기능
- 01데이터 흐름을 설계하고 제어하며 모니터링하는 브라우저 기반 UI
- 02검색 가능한 이력과 데이터 계보 그래프를 제공하는 출처 추적
- 03재시도 및 백오프 전략을 통한 전달 보장
- 04클러스터링을 통한 수평 확장
- 05네이티브 Python Processor를 포함한 Processor 및 Controller Service용 플러그인 인터페이스
- 06OpenID Connect 또는 SAML 2를 통한 싱글 사인온 및 역할 기반 권한 부여
활용 사례
- 데이터베이스, API, 메시지 큐 간 데이터 이동 및 변환
- 이벤트 스트림 및 옵저버빌리티 데이터 파이프라인 구축
- 생성형 AI 또는 분석 워크플로에 데이터 공급
- 데이터의 출처와 처리 과정을 감사
빠른 시작
- 1
Maven Wrapper로 바이너리 배포판을 빌드합니다
./mvnw install -T1C -am -pl :nifi-assembly - 2
빌드된 배포판 디렉터리로 이동합니다
cd nifi-assembly/target/nifi-*-bin/nifi-*/ - 3
포함된 스크립트로 NiFi를 시작합니다
./bin/nifi.sh start - 4
https://localhost:8443/nifi 를 열고 logs/nifi-app.log에 기록된 생성된 인증 정보로 로그인합니다
사용 전 알아둘 점
- Java 21이 필요하며, README에는 패키지 관리자 설치 방법이 없어 Maven으로 소스에서 빌드해야 합니다.
- 기본 HTTPS 설정은 자체 서명 인증서를 사용하므로 브라우저에 경고가 표시됩니다. 프로덕션 환경에서 사용하려면 신뢰할 수 있는 인증서가 필요합니다.
토픽
자주 묻는 질문
- nifi은(는) 무엇인가요?
- Apache NiFi는 브라우저 UI에서 관리하며 소스와 대상 간 데이터 흐름을 자동화하고 라우팅 및 모니터링하는 시스템입니다. Apache NiFi는 데이터를 처리하고 배포하는 데이터 흐름 시스템입니다. 사용자는 브라우저 기반 인터페이스에서 프로세서를 연결해 파이프라인을 구성하며, 프로세서는 시스템 간 데이터 이동, 변환, 라우팅 등의 작업을 처리합니다. 이 프로젝트는 사이버 보안, 옵저버빌리티, 이벤트 스트림, 생성형 AI 데이터 파이프라인을 위한 용도로 소개됩니다.
- nifi은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- nifi은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- nifi은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. nifi의 마지막 커밋은 2026년 10월 20일입니다.
- nifi은(는) 어디에 사용할 수 있나요?
- 데이터베이스, API, 메시지 큐 간 데이터 이동 및 변환 이벤트 스트림 및 옵저버빌리티 데이터 파이프라인 구축 생성형 AI 또는 분석 워크플로에 데이터 공급 데이터의 출처와 처리 과정을 감사
- nifi는 어떻게 설치하나요?
- Maven Wrapper로 바이너리 배포판을 빌드합니다: ./mvnw install -T1C -am -pl :nifi-assembly 빌드된 배포판 디렉터리로 이동합니다: cd nifi-assembly/target/nifi-*-bin/nifi-*/ 포함된 스크립트로 NiFi를 시작합니다: ./bin/nifi.sh start https://localhost:8443/nifi 를 열고 logs/nifi-app.log에 기록된 생성된 인증 정보로 로그인합니다
- nifi은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/apache/nifi
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
API, 데이터베이스, 파일의 데이터를 웨어하우스, 레이크, AI 애플리케이션으로 옮기는 오픈소스 ELT 플랫폼
클라우드 및 SaaS 인프라 메타데이터를 데이터 웨어하우스로 동기화해 SQL 조회, 자산 인벤토리 관리, 보안 분석을 지원하는 CLI 및 데이터 파이프라인입니다.
고전 및 현대 소프트웨어 디자인 패턴을 구현한 Java 코드 모음으로, 각 패턴의 예제에 주석이 잘 달려 있습니다.
브라우저, 데스크톱 앱 또는 API에서 PDF를 편집·서명·비식별 처리·변환하고 자동화할 수 있는 셀프 호스팅 오픈소스 플랫폼입니다.
Prometheus는 메트릭을 수집하고 규칙을 평가하며 알림을 발생시키는 오픈소스 시스템 및 서비스 모니터링 시스템입니다.