Querybook — IDE для работы с Big Data, объединяющая редактор запросов в формате ноутбука с метаданными таблиц для поиска и обмена аналитикой.
apache/linkis
Вычислительное ПО промежуточного слоя, связывающее приложения с такими движками обработки данных, как Spark, Hive и Flink, через REST/WS/JDBC-интерфейсы.
- Звёзды
- 3,417
- Форки
- 1,168
- Открытые issues
- 188
- Последний коммит
- 3 дня назад
Что это?
Apache Linkis служит промежуточным вычислительным слоем между приложениями верхнего уровня и базовыми движками обработки данных. Вместо того чтобы напрямую связывать каждое приложение с такими движками, как MySQL, Spark, Hive, Presto или Flink, приложения обращаются к Linkis через стандартные интерфейсы REST, WebSocket и JDBC. Это развязывает уровни приложений и движков, упрощает сетевые взаимодействия и снижает затраты на разработку и поддержку.
Помимо подключения, Linkis обеспечивает обмен пользовательскими ресурсами между движками: переменные, скрипты, UDF, функции и файлы ресурсов достаточно задать один раз — после этого они доступны автоматически. Также Linkis предоставляет средства управления вычислениями: маршрутизацию задач, балансировку нагрузки, поддержку нескольких арендаторов, контроль трафика и ресурсов на основе многоуровневых меток. Кроме того, в его состав входят общие сервисы, в том числе библиотека материалов, сервис контекста и управление источниками данных. Поддерживаются Spark, Hive, Python, Shell, JDBC, Flink, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino и SeaTunnel, а задачи охватывают пакетную обработку, интерактивные запросы, потоковую обработку в реальном времени и сценарии озёр данных.
Ключевые возможности
- 01Поддерживает множество базовых движков: Spark, Hive, Python, Shell, Flink, JDBC, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino и SeaTunnel.
- 02Принимает запросы на нескольких языках: SparkSQL, HiveSQL, Python, Shell, Pyspark, Scala, JSON и Java.
- 03Предоставляет средства управления вычислениями: маршрутизацию задач, балансировку нагрузки, поддержку нескольких арендаторов, контроль трафика и ресурсов на основе многоуровневых меток.
- 04Единый сервис контекста связывает файлы ресурсов (JAR, ZIP, Properties), наборы результатов, переменные параметров, функции и UDF между пользователями, системами и движками.
- 05Единое управление материалами на уровне системы и пользователя, с возможностью совместного использования между пользователями и системами.
- 06Единое управление источниками данных Hive, ElasticSearch, MySQL, Kafka, MongoDB и другими: CRUD-операции, контроль версий, проверка подключений и запросы метаданных.
- 07Для распространённых ошибок задач предусмотрены коды ошибок с рекомендациями по решению, чтобы пользователи могли самостоятельно выявлять проблемы.
- 08Предоставляет приложениям верхнего уровня интерфейсы REST/WS/JDBC.
Сценарии использования
- Использование в качестве единой точки входа к базовым вычислительным и хранилищным движкам платформы больших данных.
- Приложениям, которым нужен доступ к Spark, Hive, Presto, Flink и другим движкам через единый интерфейс.
- Мультитенантным платформам, которым нужны изоляция ресурсов, контроль трафика и маршрутизация задач.
- Совместное использование скриптов, UDF и файлов ресурсов между пользователями, системами и движками.
- Запуск пакетных задач, интерактивных запросов, потоковой обработки и задач для озёр данных через единый механизм отправки и управления задачами.
Быстрый старт
- 1
Скачайте с страницы релизов Linkis скомпилированный дистрибутив или пакет с исходным кодом
- 2
Установите родительский POM перед первой компиляцией
./mvnw -N install - 3
Соберите дистрибутивный пакет бэкенда
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true - 4
Для развертывания следуйте руководству Quick Deployment на официальном сайте документации
Что важно знать
- Развертывание требует значительных усилий: это многосервисная Java-платформа, для которой нужна сборка с помощью Maven или настройка полноценного кластера.
- По лицензионным причинам официальный образ не содержит драйвер MySQL JDBC, поэтому его нужно добавить самостоятельно.
В подборках
Темы
Частые вопросы
- Что такое linkis?
- Вычислительное ПО промежуточного слоя, связывающее приложения с такими движками обработки данных, как Spark, Hive и Flink, через REST/WS/JDBC-интерфейсы. Apache Linkis служит промежуточным вычислительным слоем между приложениями верхнего уровня и базовыми движками обработки данных. Вместо того чтобы напрямую связывать каждое приложение с такими движками, как MySQL, Spark, Hive, Presto или Flink, приложения обращаются к Linkis через стандартные интерфейсы REST, WebSocket и JDBC. Это развязывает уровни приложений и движков, упрощает сетевые взаимодействия и снижает затраты на разработку и поддержку.
- linkis можно использовать бесплатно? Какая у него лицензия?
- linkis распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- linkis всё ещё поддерживается?
- Активно поддерживается. Последний коммит в linkis — 4 нояб. 2026 г..
- Для чего можно использовать linkis?
- Использование в качестве единой точки входа к базовым вычислительным и хранилищным движкам платформы больших данных. Приложениям, которым нужен доступ к Spark, Hive, Presto, Flink и другим движкам через единый интерфейс. Мультитенантным платформам, которым нужны изоляция ресурсов, контроль трафика и маршрутизация задач. Совместное использование скриптов, UDF и файлов ресурсов между пользователями, системами и движками. Запуск пакетных задач, интерактивных запросов, потоковой обработки и задач для озёр данных через единый механизм отправки и управления задачами.
- Как установить linkis?
- Скачайте с страницы релизов Linkis скомпилированный дистрибутив или пакет с исходным кодом Установите родительский POM перед первой компиляцией: ./mvnw -N install Соберите дистрибутивный пакет бэкенда: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true Для развертывания следуйте руководству Quick Deployment на официальном сайте документации
- Где скачать linkis?
- Исходный код и инструкции по установке — на GitHub: https://github.com/apache/linkis
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Веб-ноутбук для интерактивной аналитики данных: SQL, Scala, Python и другие интерпретаторы работают в общих документах.
Высокопроизводительный открытый табличный формат для больших аналитических наборов данных, позволяющий Spark, Trino, Flink и Hive безопасно работать с одними и теми же таблицами.
Фреймворк для разработки потоковых приложений и cloud-native control plane для запуска и управления заданиями Apache Flink и Spark.
Унифицированный движок аналитики для распределённой обработки больших данных с API для Scala, Java, Python и R.
Apache Flink — open source-фреймворк для потоковой и пакетной обработки данных с состоянием, предоставляющий API для Java, Scala, Python и SQL.