Repolode
bruin-data

bruin-data/ingestr

CLI-инструмент для копирования данных между базами данных, файлами и SaaS-платформами одной командой, без написания кода.

Open source альтернатива:FivetranAirbyte Cloud

Звёзды
4,025
Форки
165
Открытые issues
28
Последний коммит
4 часа назад

Что это?

ingestr — CLI-приложение для переноса данных из источника в целевое хранилище с помощью флагов, а не собственных скриптов. Укажите URI и таблицу источника, URI и таблицу назначения — инструмент подключится к хранилищам и загрузит данные в целевую таблицу.

Поддерживается инкрементальная загрузка в режимах append, merge и delete+insert: при повторных запусках можно синхронизировать данные с целевым хранилищем, не загружая всё заново. В README перечислены многочисленные источники и назначения, в том числе PostgreSQL, MySQL, BigQuery, Snowflake, DuckDB, SQL Server, MongoDB, локальные файлы CSV/JSON/Parquet и API множества SaaS-сервисов, например HubSpot и Stripe.

Инструмент распространяется в виде отдельного бинарного файла, устанавливаемого скриптом, а также как pip-пакет. В pip-пакете есть и Python SDK, который позволяет передавать в CLI строки, генераторы или DataFrame. Исходный код доступен по лицензии Functional Source License, ограничивающей использование проекта для предоставления конкурирующего коммерческого сервиса загрузки данных.

Ключевые возможности

  • 01Копирует таблицы между базами данных и файлами одной командой CLI.
  • 02Поддерживает инкрементальную загрузку в режимах append, merge и delete+insert.
  • 03Подключается ко множеству баз данных, хранилищ данных и SaaS API.
  • 04Устанавливается с помощью shell-скрипта или через pip; также доступен Python SDK.
  • 05Поддерживает захват изменений данных (CDC) в нескольких базах данных, включая MySQL, PostgreSQL и MongoDB.

Сценарии использования

  • Загрузка таблиц из операционных баз данных в хранилище данных, например BigQuery или Snowflake.
  • Экспорт таблиц из хранилища данных в локальный DuckDB или файл Parquet для анализа.
  • Регулярная выгрузка данных из SaaS-сервисов, например HubSpot или Stripe, в SQL-базу данных.
  • Перенос данных между двумя базами данных без написания собственного ETL-кода.

Быстрый старт

  1. 1

    Запустите официальный скрипт установки из README

  2. 2

    Или установите с помощью pip

    pip install ingestr
  3. 3

    Запустите команду ingest из Quickstart, указав собственные URI источника и назначения

    ingestr ingest --source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable' --source-table 'public.some_data' --dest-uri 'bigquery://<your-project-name>?credentials_path=/path/to/service/account.json' --dest-table 'ingestr.some_data'

Что важно знать

  • В качестве лицензии указано NOASSERTION, поэтому перед использованием проверьте условия лицензии репозитория.

Темы

Частые вопросы

Что такое ingestr?
CLI-инструмент для копирования данных между базами данных, файлами и SaaS-платформами одной командой, без написания кода. ingestr — CLI-приложение для переноса данных из источника в целевое хранилище с помощью флагов, а не собственных скриптов. Укажите URI и таблицу источника, URI и таблицу назначения — инструмент подключится к хранилищам и загрузит данные в целевую таблицу.
ingestr можно использовать бесплатно? Какая у него лицензия?
ingestr распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ingestr всё ещё поддерживается?
Активно поддерживается. Последний коммит в ingestr — 21 окт. 2026 г..
Для чего можно использовать ingestr?
Загрузка таблиц из операционных баз данных в хранилище данных, например BigQuery или Snowflake. Экспорт таблиц из хранилища данных в локальный DuckDB или файл Parquet для анализа. Регулярная выгрузка данных из SaaS-сервисов, например HubSpot или Stripe, в SQL-базу данных. Перенос данных между двумя базами данных без написания собственного ETL-кода.
Как установить ingestr?
Запустите официальный скрипт установки из README Или установите с помощью pip: pip install ingestr Запустите команду ingest из Quickstart, указав собственные URI источника и назначения: ingestr ingest --source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable' --source-table 'public.some_data' --dest-uri 'bigquery://<your-project-name>?credentials_path=/path/to/service/account.json' --dest-table 'ingestr.some_data'
Где скачать ingestr?
Исходный код и инструкции по установке — на GitHub: https://github.com/bruin-data/ingestr

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Распределённый инструмент интеграции данных для синхронизации больших объёмов структурированных и неструктурированных данных через 160+ коннекторов в пакетном режиме, потоковой передаче и режиме CDC.

9,7 тыс.2,4 тыс.JavaApache-2.0Обновлён 7 часов назад

Фреймворк инкрементальных конвейеров данных на Python с ядром на Rust, который синхронизирует векторные индексы и графы знаний с меняющимися источниками для AI-агентов и RAG-приложений.

11,7 тыс.921RustApache-2.0Обновлён 3 дня назад