API, 데이터베이스, 파일의 데이터를 웨어하우스, 레이크, AI 애플리케이션으로 옮기는 오픈소스 ELT 플랫폼
bruin-data/ingestr
코드를 작성하지 않고 명령어 하나로 데이터베이스, 파일, SaaS 플랫폼 간에 데이터를 복사하는 CLI 도구입니다.
대체할 수 있는 제품:Fivetran
Airbyte Cloud
- 스타
- 4,025
- 포크
- 165
- 열린 이슈
- 28
- 마지막 커밋
- 5시간 전
어떤 프로젝트인가요?
ingestr는 커스텀 스크립트 대신 플래그를 사용해 소스에서 대상으로 데이터를 옮기는 CLI 애플리케이션입니다. 소스 URI와 테이블, 대상 URI와 테이블을 지정하면 연결과 전송을 처리해 데이터를 대상에 적재합니다.
append, merge, delete+insert 전략을 사용한 증분 적재를 지원하므로, 매번 전체 데이터를 다시 적재하지 않고도 반복 실행으로 대상 데이터를 동기화할 수 있습니다. README에는 PostgreSQL, MySQL, BigQuery, Snowflake, DuckDB, SQL Server, MongoDB, 로컬 CSV/JSON/Parquet 파일과 HubSpot, Stripe 같은 여러 SaaS API를 비롯해 폭넓은 소스와 대상이 안내되어 있습니다.
ingestr는 설치 스크립트를 통한 단일 바이너리와 pip 패키지로 배포됩니다. pip 패키지에는 행, 제너레이터 또는 DataFrame을 CLI로 전송할 수 있는 Python SDK도 포함되어 있습니다. 이 프로젝트는 Functional Source License에 따라 소스 코드를 공개하며, 경쟁 관계인 상용 데이터 수집 서비스로 제공하는 것을 제한합니다.
핵심 기능
- 01CLI 명령어 하나로 데이터베이스와 파일 간에 테이블을 복사합니다.
- 02append, merge, delete+insert 방식의 증분 적재를 지원합니다.
- 03다양한 데이터베이스, 데이터 웨어하우스, SaaS API에 연결합니다.
- 04셸 스크립트나 pip로 설치할 수 있으며 Python SDK도 제공합니다.
- 05MySQL, PostgreSQL, MongoDB 등 여러 데이터베이스의 변경 데이터 캡처를 지원합니다.
활용 사례
- 운영 데이터베이스의 테이블을 BigQuery나 Snowflake 같은 데이터 웨어하우스에 적재합니다.
- 분석을 위해 데이터 웨어하우스 테이블을 로컬 DuckDB나 Parquet 파일로 내보냅니다.
- HubSpot이나 Stripe 같은 SaaS 도구의 데이터를 일정에 따라 SQL 데이터베이스로 가져옵니다.
- 커스텀 ETL 코드를 작성하지 않고 두 데이터베이스 간에 데이터를 마이그레이션합니다.
빠른 시작
- 1
README에 있는 공식 설치 스크립트를 실행하세요
- 2
또는 pip로 설치하세요
pip install ingestr - 3
Quickstart의 ingest 명령어를 실행하고, 직접 source 및 destination URI를 지정하세요
ingestr ingest --source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable' --source-table 'public.some_data' --dest-uri 'bigquery://<your-project-name>?credentials_path=/path/to/service/account.json' --dest-table 'ingestr.some_data'
사용 전 알아둘 점
- 라이선스가 NOASSERTION으로 표시되어 있으므로 사용 전에 저장소의 라이선스 조건을 확인하세요.
토픽
자주 묻는 질문
- ingestr은(는) 무엇인가요?
- 코드를 작성하지 않고 명령어 하나로 데이터베이스, 파일, SaaS 플랫폼 간에 데이터를 복사하는 CLI 도구입니다. ingestr는 커스텀 스크립트 대신 플래그를 사용해 소스에서 대상으로 데이터를 옮기는 CLI 애플리케이션입니다. 소스 URI와 테이블, 대상 URI와 테이블을 지정하면 연결과 전송을 처리해 데이터를 대상에 적재합니다.
- ingestr은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- ingestr은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- ingestr은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. ingestr의 마지막 커밋은 2026년 10월 21일입니다.
- ingestr은(는) 어디에 사용할 수 있나요?
- 운영 데이터베이스의 테이블을 BigQuery나 Snowflake 같은 데이터 웨어하우스에 적재합니다. 분석을 위해 데이터 웨어하우스 테이블을 로컬 DuckDB나 Parquet 파일로 내보냅니다. HubSpot이나 Stripe 같은 SaaS 도구의 데이터를 일정에 따라 SQL 데이터베이스로 가져옵니다. 커스텀 ETL 코드를 작성하지 않고 두 데이터베이스 간에 데이터를 마이그레이션합니다.
- ingestr는 어떻게 설치하나요?
- README에 있는 공식 설치 스크립트를 실행하세요 또는 pip로 설치하세요: pip install ingestr Quickstart의 ingest 명령어를 실행하고, 직접 source 및 destination URI를 지정하세요: ingestr ingest --source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable' --source-table 'public.some_data' --dest-uri 'bigquery://<your-project-name>?credentials_path=/path/to/service/account.json' --dest-table 'ingestr.some_data'
- ingestr은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/bruin-data/ingestr
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
160개 이상의 커넥터를 통해 배치, 스트리밍, CDC 모드로 대량의 정형·비정형 데이터를 동기화하는 분산 데이터 통합 도구입니다.
클라우드 및 SaaS 인프라 메타데이터를 데이터 웨어하우스로 동기화해 SQL 조회, 자산 인벤토리 관리, 보안 분석을 지원하는 CLI 및 데이터 파이프라인입니다.
Apache NiFi는 브라우저 UI에서 관리하며 소스와 대상 간 데이터 흐름을 자동화하고 라우팅 및 모니터링하는 시스템입니다.
회사 데이터베이스, SaaS 도구, 파일을 컴퓨터에서 바로 질의할 수 있는 단일 온톨로지로 연결하는 로컬 우선 데이터 워크스페이스
Rust 코어를 갖춘 Python 증분 데이터 파이프라인으로, 변경되는 소스와 벡터 인덱스·지식 그래프를 동기화합니다.