Querybook é uma IDE de Big Data que combina um editor de consultas no estilo notebook com metadados de tabelas para descobrir e compartilhar análises.
apache/linkis
Middleware de computação que conecta aplicações a mecanismos de dados como Spark, Hive e Flink por meio de interfaces REST/WS/JDBC.
- Estrelas
- 3,417
- Forks
- 1,168
- Issues abertas
- 188
- Último commit
- há 3 dias
O que é?
O Apache Linkis atua como uma camada de middleware de computação entre aplicações de camada superior e mecanismos de dados subjacentes. Em vez de conectar cada aplicação diretamente a mecanismos como MySQL, Spark, Hive, Presto ou Flink, as aplicações acessam o Linkis por meio de interfaces padrão REST, WebSocket e JDBC. Isso desacopla a camada de aplicações da camada de mecanismos, simplificando as relações entre chamadas de rede e reduzindo o esforço de desenvolvimento e manutenção.
Além de conectar os sistemas, o Linkis gerencia a comunicação entre mecanismos para compartilhar recursos dos usuários: variáveis, scripts, UDFs, funções e arquivos de recursos são definidos uma vez e referenciados automaticamente. Ele também oferece governança de computação, como roteamento de tarefas, balanceamento de carga, multilocação, controle de tráfego e controle de recursos com base em rótulos multinível, além de serviços compartilhados, incluindo biblioteca de materiais, serviço de contexto e gerenciamento de fontes de dados. Os mecanismos compatíveis incluem Spark, Hive, Python, Shell, JDBC, Flink, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino e SeaTunnel, com tipos de tarefa que abrangem processamento em lote offline, consultas interativas, streaming em tempo real e cargas de trabalho de data lake.
Recursos principais
- 01Compatível com vários mecanismos subjacentes: Spark, Hive, Python, Shell, Flink, JDBC, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino e SeaTunnel.
- 02Aceita várias linguagens: SparkSQL, HiveSQL, Python, Shell, Pyspark, Scala, JSON e Java.
- 03Governança de computação com roteamento de tarefas, balanceamento de carga, multilocação, controle de tráfego e controle de recursos com base em rótulos multinível.
- 04Serviço de contexto unificado para associar arquivos de recursos (JAR, ZIP, Properties), conjuntos de resultados, variáveis de parâmetros, funções e UDFs entre usuários, sistemas e mecanismos.
- 05Gerenciamento unificado de materiais nos níveis de sistema e usuário, com compartilhamento entre usuários e sistemas.
- 06Gerenciamento unificado de fontes de dados para Hive, ElasticSearch, MySQL, Kafka, MongoDB e outros, incluindo operações CRUD, controle de versão, testes de conexão e consultas de metadados.
- 07Códigos de erro com sugestões de solução para erros comuns em tarefas, para que os usuários possam identificar os problemas por conta própria.
- 08Disponibiliza interfaces REST/WS/JDBC para aplicações de camada superior.
Casos de uso
- Atuar como ponto de entrada unificado para os mecanismos de computação e armazenamento subjacentes de uma plataforma de big data.
- Aplicações que precisam acessar Spark, Hive, Presto, Flink e outros mecanismos por meio de uma interface consistente.
- Plataformas multilocatárias que precisam de isolamento de recursos, controle de tráfego e roteamento de tarefas.
- Compartilhar scripts, UDFs e arquivos de recursos entre usuários, sistemas e mecanismos.
- Executar tarefas de processamento em lote offline, consultas interativas, streaming e data lake por meio de um único fluxo de envio e gerenciamento de tarefas.
Início rápido
- 1
Baixe uma distribuição compilada ou um pacote de código-fonte na página de releases do Linkis
- 2
Instale o POM pai antes da primeira compilação
./mvnw -N install - 3
Gere o pacote de distribuição do backend
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true - 4
Siga o guia Quick Deployment no site oficial da documentação para fazer o deploy
Antes de usar
- O deploy é complexo: trata-se de uma plataforma Java com vários serviços, que exige builds com Maven ou a configuração de um cluster completo.
- Por motivos de licenciamento, a imagem oficial não inclui o driver JDBC do MySQL; portanto, você precisa adicioná-lo por conta própria.
Em coleções
Tópicos
Perguntas frequentes
- O que é linkis?
- Middleware de computação que conecta aplicações a mecanismos de dados como Spark, Hive e Flink por meio de interfaces REST/WS/JDBC. O Apache Linkis atua como uma camada de middleware de computação entre aplicações de camada superior e mecanismos de dados subjacentes. Em vez de conectar cada aplicação diretamente a mecanismos como MySQL, Spark, Hive, Presto ou Flink, as aplicações acessam o Linkis por meio de interfaces padrão REST, WebSocket e JDBC. Isso desacopla a camada de aplicações da camada de mecanismos, simplificando as relações entre chamadas de rede e reduzindo o esforço de desenvolvimento e manutenção.
- linkis é gratuito? Qual é a licença?
- linkis é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- linkis ainda é mantido?
- Manutenção ativa. O último commit de linkis foi em 4 de nov. de 2026.
- Para que posso usar linkis?
- Atuar como ponto de entrada unificado para os mecanismos de computação e armazenamento subjacentes de uma plataforma de big data. Aplicações que precisam acessar Spark, Hive, Presto, Flink e outros mecanismos por meio de uma interface consistente. Plataformas multilocatárias que precisam de isolamento de recursos, controle de tráfego e roteamento de tarefas. Compartilhar scripts, UDFs e arquivos de recursos entre usuários, sistemas e mecanismos. Executar tarefas de processamento em lote offline, consultas interativas, streaming e data lake por meio de um único fluxo de envio e gerenciamento de tarefas.
- Como instalar linkis?
- Baixe uma distribuição compilada ou um pacote de código-fonte na página de releases do Linkis Instale o POM pai antes da primeira compilação: ./mvnw -N install Gere o pacote de distribuição do backend: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true Siga o guia Quick Deployment no site oficial da documentação para fazer o deploy
- Onde consigo linkis?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/apache/linkis
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Notebook web para análise interativa de dados, que combina SQL, Scala, Python e outros interpretadores em documentos compartilhados.
Formato aberto de tabelas de alto desempenho para grandes conjuntos de dados analíticos, que permite a engines como Spark, Trino, Flink e Hive compartilhar as mesmas tabelas com segurança.
Framework de desenvolvimento de aplicações de streaming e plano de controle cloud-native para executar e gerenciar jobs do Apache Flink e Spark.
Um mecanismo unificado de análise para processamento de dados em larga escala, com APIs em Scala, Java, Python e R.
Apache Flink é um framework open source para processamento stateful de dados em streaming e em lote, com APIs para Java, Scala, Python e SQL.