Repolode
apache

apache/linkis

Middleware de computação que conecta aplicações a mecanismos de dados como Spark, Hive e Flink por meio de interfaces REST/WS/JDBC.

Estrelas
3,417
Forks
1,168
Issues abertas
188
Último commit
há 3 dias

O que é?

O Apache Linkis atua como uma camada de middleware de computação entre aplicações de camada superior e mecanismos de dados subjacentes. Em vez de conectar cada aplicação diretamente a mecanismos como MySQL, Spark, Hive, Presto ou Flink, as aplicações acessam o Linkis por meio de interfaces padrão REST, WebSocket e JDBC. Isso desacopla a camada de aplicações da camada de mecanismos, simplificando as relações entre chamadas de rede e reduzindo o esforço de desenvolvimento e manutenção.

Além de conectar os sistemas, o Linkis gerencia a comunicação entre mecanismos para compartilhar recursos dos usuários: variáveis, scripts, UDFs, funções e arquivos de recursos são definidos uma vez e referenciados automaticamente. Ele também oferece governança de computação, como roteamento de tarefas, balanceamento de carga, multilocação, controle de tráfego e controle de recursos com base em rótulos multinível, além de serviços compartilhados, incluindo biblioteca de materiais, serviço de contexto e gerenciamento de fontes de dados. Os mecanismos compatíveis incluem Spark, Hive, Python, Shell, JDBC, Flink, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino e SeaTunnel, com tipos de tarefa que abrangem processamento em lote offline, consultas interativas, streaming em tempo real e cargas de trabalho de data lake.

Recursos principais

  • 01Compatível com vários mecanismos subjacentes: Spark, Hive, Python, Shell, Flink, JDBC, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino e SeaTunnel.
  • 02Aceita várias linguagens: SparkSQL, HiveSQL, Python, Shell, Pyspark, Scala, JSON e Java.
  • 03Governança de computação com roteamento de tarefas, balanceamento de carga, multilocação, controle de tráfego e controle de recursos com base em rótulos multinível.
  • 04Serviço de contexto unificado para associar arquivos de recursos (JAR, ZIP, Properties), conjuntos de resultados, variáveis de parâmetros, funções e UDFs entre usuários, sistemas e mecanismos.
  • 05Gerenciamento unificado de materiais nos níveis de sistema e usuário, com compartilhamento entre usuários e sistemas.
  • 06Gerenciamento unificado de fontes de dados para Hive, ElasticSearch, MySQL, Kafka, MongoDB e outros, incluindo operações CRUD, controle de versão, testes de conexão e consultas de metadados.
  • 07Códigos de erro com sugestões de solução para erros comuns em tarefas, para que os usuários possam identificar os problemas por conta própria.
  • 08Disponibiliza interfaces REST/WS/JDBC para aplicações de camada superior.

Casos de uso

  • Atuar como ponto de entrada unificado para os mecanismos de computação e armazenamento subjacentes de uma plataforma de big data.
  • Aplicações que precisam acessar Spark, Hive, Presto, Flink e outros mecanismos por meio de uma interface consistente.
  • Plataformas multilocatárias que precisam de isolamento de recursos, controle de tráfego e roteamento de tarefas.
  • Compartilhar scripts, UDFs e arquivos de recursos entre usuários, sistemas e mecanismos.
  • Executar tarefas de processamento em lote offline, consultas interativas, streaming e data lake por meio de um único fluxo de envio e gerenciamento de tarefas.

Início rápido

  1. 1

    Baixe uma distribuição compilada ou um pacote de código-fonte na página de releases do Linkis

  2. 2

    Instale o POM pai antes da primeira compilação

    ./mvnw -N install
  3. 3

    Gere o pacote de distribuição do backend

    ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
  4. 4

    Siga o guia Quick Deployment no site oficial da documentação para fazer o deploy

Antes de usar

  • O deploy é complexo: trata-se de uma plataforma Java com vários serviços, que exige builds com Maven ou a configuração de um cluster completo.
  • Por motivos de licenciamento, a imagem oficial não inclui o driver JDBC do MySQL; portanto, você precisa adicioná-lo por conta própria.

Em coleções

Tópicos

#big-data#computation-middleware#spark#hive#flink#presto#sql#jdbc#data-governance#application-manager

Perguntas frequentes

O que é linkis?
Middleware de computação que conecta aplicações a mecanismos de dados como Spark, Hive e Flink por meio de interfaces REST/WS/JDBC. O Apache Linkis atua como uma camada de middleware de computação entre aplicações de camada superior e mecanismos de dados subjacentes. Em vez de conectar cada aplicação diretamente a mecanismos como MySQL, Spark, Hive, Presto ou Flink, as aplicações acessam o Linkis por meio de interfaces padrão REST, WebSocket e JDBC. Isso desacopla a camada de aplicações da camada de mecanismos, simplificando as relações entre chamadas de rede e reduzindo o esforço de desenvolvimento e manutenção.
linkis é gratuito? Qual é a licença?
linkis é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
linkis ainda é mantido?
Manutenção ativa. O último commit de linkis foi em 4 de nov. de 2026.
Para que posso usar linkis?
Atuar como ponto de entrada unificado para os mecanismos de computação e armazenamento subjacentes de uma plataforma de big data. Aplicações que precisam acessar Spark, Hive, Presto, Flink e outros mecanismos por meio de uma interface consistente. Plataformas multilocatárias que precisam de isolamento de recursos, controle de tráfego e roteamento de tarefas. Compartilhar scripts, UDFs e arquivos de recursos entre usuários, sistemas e mecanismos. Executar tarefas de processamento em lote offline, consultas interativas, streaming e data lake por meio de um único fluxo de envio e gerenciamento de tarefas.
Como instalar linkis?
Baixe uma distribuição compilada ou um pacote de código-fonte na página de releases do Linkis Instale o POM pai antes da primeira compilação: ./mvnw -N install Gere o pacote de distribuição do backend: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true Siga o guia Quick Deployment no site oficial da documentação para fazer o deploy
Onde consigo linkis?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apache/linkis

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados