Repolode
apache

apache/linkis

Вычислительное ПО промежуточного слоя, связывающее приложения с такими движками обработки данных, как Spark, Hive и Flink, через REST/WS/JDBC-интерфейсы.

Звёзды
3,417
Форки
1,168
Открытые issues
188
Последний коммит
3 дня назад

Что это?

Apache Linkis служит промежуточным вычислительным слоем между приложениями верхнего уровня и базовыми движками обработки данных. Вместо того чтобы напрямую связывать каждое приложение с такими движками, как MySQL, Spark, Hive, Presto или Flink, приложения обращаются к Linkis через стандартные интерфейсы REST, WebSocket и JDBC. Это развязывает уровни приложений и движков, упрощает сетевые взаимодействия и снижает затраты на разработку и поддержку.

Помимо подключения, Linkis обеспечивает обмен пользовательскими ресурсами между движками: переменные, скрипты, UDF, функции и файлы ресурсов достаточно задать один раз — после этого они доступны автоматически. Также Linkis предоставляет средства управления вычислениями: маршрутизацию задач, балансировку нагрузки, поддержку нескольких арендаторов, контроль трафика и ресурсов на основе многоуровневых меток. Кроме того, в его состав входят общие сервисы, в том числе библиотека материалов, сервис контекста и управление источниками данных. Поддерживаются Spark, Hive, Python, Shell, JDBC, Flink, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino и SeaTunnel, а задачи охватывают пакетную обработку, интерактивные запросы, потоковую обработку в реальном времени и сценарии озёр данных.

Ключевые возможности

  • 01Поддерживает множество базовых движков: Spark, Hive, Python, Shell, Flink, JDBC, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino и SeaTunnel.
  • 02Принимает запросы на нескольких языках: SparkSQL, HiveSQL, Python, Shell, Pyspark, Scala, JSON и Java.
  • 03Предоставляет средства управления вычислениями: маршрутизацию задач, балансировку нагрузки, поддержку нескольких арендаторов, контроль трафика и ресурсов на основе многоуровневых меток.
  • 04Единый сервис контекста связывает файлы ресурсов (JAR, ZIP, Properties), наборы результатов, переменные параметров, функции и UDF между пользователями, системами и движками.
  • 05Единое управление материалами на уровне системы и пользователя, с возможностью совместного использования между пользователями и системами.
  • 06Единое управление источниками данных Hive, ElasticSearch, MySQL, Kafka, MongoDB и другими: CRUD-операции, контроль версий, проверка подключений и запросы метаданных.
  • 07Для распространённых ошибок задач предусмотрены коды ошибок с рекомендациями по решению, чтобы пользователи могли самостоятельно выявлять проблемы.
  • 08Предоставляет приложениям верхнего уровня интерфейсы REST/WS/JDBC.

Сценарии использования

  • Использование в качестве единой точки входа к базовым вычислительным и хранилищным движкам платформы больших данных.
  • Приложениям, которым нужен доступ к Spark, Hive, Presto, Flink и другим движкам через единый интерфейс.
  • Мультитенантным платформам, которым нужны изоляция ресурсов, контроль трафика и маршрутизация задач.
  • Совместное использование скриптов, UDF и файлов ресурсов между пользователями, системами и движками.
  • Запуск пакетных задач, интерактивных запросов, потоковой обработки и задач для озёр данных через единый механизм отправки и управления задачами.

Быстрый старт

  1. 1

    Скачайте с страницы релизов Linkis скомпилированный дистрибутив или пакет с исходным кодом

  2. 2

    Установите родительский POM перед первой компиляцией

    ./mvnw -N install
  3. 3

    Соберите дистрибутивный пакет бэкенда

    ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
  4. 4

    Для развертывания следуйте руководству Quick Deployment на официальном сайте документации

Что важно знать

  • Развертывание требует значительных усилий: это многосервисная Java-платформа, для которой нужна сборка с помощью Maven или настройка полноценного кластера.
  • По лицензионным причинам официальный образ не содержит драйвер MySQL JDBC, поэтому его нужно добавить самостоятельно.

В подборках

Темы

#big-data#computation-middleware#spark#hive#flink#presto#sql#jdbc#data-governance#application-manager

Частые вопросы

Что такое linkis?
Вычислительное ПО промежуточного слоя, связывающее приложения с такими движками обработки данных, как Spark, Hive и Flink, через REST/WS/JDBC-интерфейсы. Apache Linkis служит промежуточным вычислительным слоем между приложениями верхнего уровня и базовыми движками обработки данных. Вместо того чтобы напрямую связывать каждое приложение с такими движками, как MySQL, Spark, Hive, Presto или Flink, приложения обращаются к Linkis через стандартные интерфейсы REST, WebSocket и JDBC. Это развязывает уровни приложений и движков, упрощает сетевые взаимодействия и снижает затраты на разработку и поддержку.
linkis можно использовать бесплатно? Какая у него лицензия?
linkis распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
linkis всё ещё поддерживается?
Активно поддерживается. Последний коммит в linkis — 4 нояб. 2026 г..
Для чего можно использовать linkis?
Использование в качестве единой точки входа к базовым вычислительным и хранилищным движкам платформы больших данных. Приложениям, которым нужен доступ к Spark, Hive, Presto, Flink и другим движкам через единый интерфейс. Мультитенантным платформам, которым нужны изоляция ресурсов, контроль трафика и маршрутизация задач. Совместное использование скриптов, UDF и файлов ресурсов между пользователями, системами и движками. Запуск пакетных задач, интерактивных запросов, потоковой обработки и задач для озёр данных через единый механизм отправки и управления задачами.
Как установить linkis?
Скачайте с страницы релизов Linkis скомпилированный дистрибутив или пакет с исходным кодом Установите родительский POM перед первой компиляцией: ./mvnw -N install Соберите дистрибутивный пакет бэкенда: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true Для развертывания следуйте руководству Quick Deployment на официальном сайте документации
Где скачать linkis?
Исходный код и инструкции по установке — на GitHub: https://github.com/apache/linkis

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Высокопроизводительный открытый табличный формат для больших аналитических наборов данных, позволяющий Spark, Trino, Flink и Hive безопасно работать с одними и теми же таблицами.

9,4 тыс.+8 за неделю3,7 тыс.JavaApache-2.0Обновлён вчера