Open-source платформа для перемещения данных в ELT-пайплайнах: из API, баз данных и файлов в хранилища, озёра данных и AI-приложения.
bruin-data/ingestr
CLI-инструмент для копирования данных между базами данных, файлами и SaaS-платформами одной командой, без написания кода.
Open source альтернатива:Fivetran
Airbyte Cloud
- Звёзды
- 4,025
- Форки
- 165
- Открытые issues
- 28
- Последний коммит
- 4 часа назад
Что это?
ingestr — CLI-приложение для переноса данных из источника в целевое хранилище с помощью флагов, а не собственных скриптов. Укажите URI и таблицу источника, URI и таблицу назначения — инструмент подключится к хранилищам и загрузит данные в целевую таблицу.
Поддерживается инкрементальная загрузка в режимах append, merge и delete+insert: при повторных запусках можно синхронизировать данные с целевым хранилищем, не загружая всё заново. В README перечислены многочисленные источники и назначения, в том числе PostgreSQL, MySQL, BigQuery, Snowflake, DuckDB, SQL Server, MongoDB, локальные файлы CSV/JSON/Parquet и API множества SaaS-сервисов, например HubSpot и Stripe.
Инструмент распространяется в виде отдельного бинарного файла, устанавливаемого скриптом, а также как pip-пакет. В pip-пакете есть и Python SDK, который позволяет передавать в CLI строки, генераторы или DataFrame. Исходный код доступен по лицензии Functional Source License, ограничивающей использование проекта для предоставления конкурирующего коммерческого сервиса загрузки данных.
Ключевые возможности
- 01Копирует таблицы между базами данных и файлами одной командой CLI.
- 02Поддерживает инкрементальную загрузку в режимах append, merge и delete+insert.
- 03Подключается ко множеству баз данных, хранилищ данных и SaaS API.
- 04Устанавливается с помощью shell-скрипта или через pip; также доступен Python SDK.
- 05Поддерживает захват изменений данных (CDC) в нескольких базах данных, включая MySQL, PostgreSQL и MongoDB.
Сценарии использования
- Загрузка таблиц из операционных баз данных в хранилище данных, например BigQuery или Snowflake.
- Экспорт таблиц из хранилища данных в локальный DuckDB или файл Parquet для анализа.
- Регулярная выгрузка данных из SaaS-сервисов, например HubSpot или Stripe, в SQL-базу данных.
- Перенос данных между двумя базами данных без написания собственного ETL-кода.
Быстрый старт
- 1
Запустите официальный скрипт установки из README
- 2
Или установите с помощью pip
pip install ingestr - 3
Запустите команду ingest из Quickstart, указав собственные URI источника и назначения
ingestr ingest --source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable' --source-table 'public.some_data' --dest-uri 'bigquery://<your-project-name>?credentials_path=/path/to/service/account.json' --dest-table 'ingestr.some_data'
Что важно знать
- В качестве лицензии указано NOASSERTION, поэтому перед использованием проверьте условия лицензии репозитория.
Темы
Частые вопросы
- Что такое ingestr?
- CLI-инструмент для копирования данных между базами данных, файлами и SaaS-платформами одной командой, без написания кода. ingestr — CLI-приложение для переноса данных из источника в целевое хранилище с помощью флагов, а не собственных скриптов. Укажите URI и таблицу источника, URI и таблицу назначения — инструмент подключится к хранилищам и загрузит данные в целевую таблицу.
- ingestr можно использовать бесплатно? Какая у него лицензия?
- ingestr распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- ingestr всё ещё поддерживается?
- Активно поддерживается. Последний коммит в ingestr — 21 окт. 2026 г..
- Для чего можно использовать ingestr?
- Загрузка таблиц из операционных баз данных в хранилище данных, например BigQuery или Snowflake. Экспорт таблиц из хранилища данных в локальный DuckDB или файл Parquet для анализа. Регулярная выгрузка данных из SaaS-сервисов, например HubSpot или Stripe, в SQL-базу данных. Перенос данных между двумя базами данных без написания собственного ETL-кода.
- Как установить ingestr?
- Запустите официальный скрипт установки из README Или установите с помощью pip: pip install ingestr Запустите команду ingest из Quickstart, указав собственные URI источника и назначения: ingestr ingest --source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable' --source-table 'public.some_data' --dest-uri 'bigquery://<your-project-name>?credentials_path=/path/to/service/account.json' --dest-table 'ingestr.some_data'
- Где скачать ingestr?
- Исходный код и инструкции по установке — на GitHub: https://github.com/bruin-data/ingestr
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Распределённый инструмент интеграции данных для синхронизации больших объёмов структурированных и неструктурированных данных через 160+ коннекторов в пакетном режиме, потоковой передаче и режиме CDC.
CLI и конвейер данных для синхронизации метаданных облачной и SaaS-инфраструктуры с хранилищем данных — для SQL-запросов, инвентаризации ресурсов и анализа безопасности.
Apache NiFi автоматизирует маршрутизацию и мониторинг потоков данных между источниками и получателями через браузерный интерфейс.
Локальная рабочая среда для данных: объединяет базы компании, SaaS-инструменты и файлы в единую онтологию, доступную для запросов на вашем компьютере.
Фреймворк инкрементальных конвейеров данных на Python с ядром на Rust, который синхронизирует векторные индексы и графы знаний с меняющимися источниками для AI-агентов и RAG-приложений.