Repolode
Enviar
apache

apache/linkis

Middleware de cómputo que conecta aplicaciones con motores de datos como Spark, Hive y Flink mediante interfaces REST/WS/JDBC.

Ver en GitHubSitio web
Estrellas
3,417
Forks
1,168
Issues abiertos
188
Último commit
hace 3 días

¿Qué es?

Apache Linkis funciona como una capa de middleware de cómputo entre las aplicaciones de nivel superior y los motores de datos subyacentes. En lugar de conectar cada aplicación directamente con motores como MySQL, Spark, Hive, Presto o Flink, las aplicaciones se comunican con Linkis mediante interfaces estándar REST, WebSocket y JDBC. Esto desacopla la capa de aplicaciones de la capa de motores, simplifica las relaciones entre llamadas de red y reduce el esfuerzo de desarrollo y mantenimiento.

Además de proporcionar conectividad, Linkis gestiona la interoperabilidad de los recursos de usuario entre motores: las variables, los scripts, los UDF, las funciones y los archivos de recursos se configuran una sola vez y se referencian automáticamente. También ofrece funciones de gobernanza del cómputo, como el enrutamiento de tareas, el balanceo de carga, la multitenencia y el control del tráfico y de los recursos mediante etiquetas multinivel. Asimismo, proporciona servicios comunes como una biblioteca de materiales, un servicio de contexto y la gestión de fuentes de datos. Entre los motores compatibles se incluyen Spark, Hive, Python, Shell, JDBC, Flink, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino y SeaTunnel; los tipos de tareas abarcan procesamiento por lotes sin conexión, consultas interactivas, procesamiento de flujos en tiempo real y cargas de trabajo de lagos de datos.

Funciones clave

  • 01Admite numerosos motores subyacentes: Spark, Hive, Python, Shell, Flink, JDBC, Pipeline, Sqoop, openLooKeng, Presto, ElasticSearch, Trino y SeaTunnel.
  • 02Acepta varios lenguajes: SparkSQL, HiveSQL, Python, Shell, Pyspark, Scala, JSON y Java.
  • 03Gobernanza del cómputo con enrutamiento de tareas, balanceo de carga, multitenencia y control del tráfico y de los recursos mediante etiquetas multinivel.
  • 04Servicio de contexto unificado para asociar archivos de recursos (JAR, ZIP, Properties), conjuntos de resultados, variables de parámetros, funciones y UDF entre usuarios, sistemas y motores.
  • 05Gestión unificada de materiales a nivel de sistema y de usuario, con opciones para compartirlos entre usuarios y sistemas.
  • 06Gestión unificada de fuentes de datos para Hive, ElasticSearch, MySQL, Kafka, MongoDB y otros, que incluye CRUD, control de versiones, pruebas de conexión y consultas de metadatos.
  • 07Códigos de error con soluciones sugeridas para errores comunes en las tareas, para que los usuarios puedan localizar los problemas por sí mismos.
  • 08Expone interfaces REST/WS/JDBC para las aplicaciones de nivel superior.

Casos de uso

  • Servir como punto de entrada unificado a los motores subyacentes de cómputo y almacenamiento de una plataforma de big data.
  • Aplicaciones que necesitan acceder a Spark, Hive, Presto, Flink y otros motores mediante una interfaz común.
  • Plataformas multiusuario que necesitan aislamiento de recursos, control del tráfico y enrutamiento de tareas.
  • Compartir scripts, UDF y archivos de recursos entre usuarios, sistemas y motores.
  • Ejecutar tareas por lotes sin conexión, consultas interactivas, procesamiento de flujos y cargas de trabajo de lagos de datos mediante una única vía de envío y gestión de tareas.

Inicio rápido

  1. 1

    Descarga una distribución compilada o un paquete de código fuente desde la página de versiones de Linkis

  2. 2

    Instala el POM padre antes de la primera compilación

    ./mvnw -N install
  3. 3

    Genera el paquete de distribución del backend

    ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
  4. 4

    Sigue la guía Quick Deployment del sitio oficial de documentación para realizar el despliegue

Antes de usarlo

  • El despliegue es complejo: es una plataforma Java con varios servicios que requiere compilaciones con Maven o la configuración de un clúster completo.
  • Por motivos de licencia, la imagen oficial no incluye el controlador JDBC de MySQL, así que debes añadirlo por tu cuenta.

En colecciones

Bases de datos y herramientas SQL

Temas

#big-data#computation-middleware#spark#hive#flink#presto#sql#jdbc#data-governance#application-manager

Preguntas frecuentes

¿Qué es linkis?
Middleware de cómputo que conecta aplicaciones con motores de datos como Spark, Hive y Flink mediante interfaces REST/WS/JDBC. Apache Linkis funciona como una capa de middleware de cómputo entre las aplicaciones de nivel superior y los motores de datos subyacentes. En lugar de conectar cada aplicación directamente con motores como MySQL, Spark, Hive, Presto o Flink, las aplicaciones se comunican con Linkis mediante interfaces estándar REST, WebSocket y JDBC. Esto desacopla la capa de aplicaciones de la capa de motores, simplifica las relaciones entre llamadas de red y reduce el esfuerzo de desarrollo y mantenimiento.
¿linkis es gratuito? ¿Qué licencia tiene?
linkis es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿linkis sigue mantenido?
Mantenimiento activo. El último commit de linkis fue el 4 nov 2026.
¿Para qué puedo usar linkis?
Servir como punto de entrada unificado a los motores subyacentes de cómputo y almacenamiento de una plataforma de big data. Aplicaciones que necesitan acceder a Spark, Hive, Presto, Flink y otros motores mediante una interfaz común. Plataformas multiusuario que necesitan aislamiento de recursos, control del tráfico y enrutamiento de tareas. Compartir scripts, UDF y archivos de recursos entre usuarios, sistemas y motores. Ejecutar tareas por lotes sin conexión, consultas interactivas, procesamiento de flujos y cargas de trabajo de lagos de datos mediante una única vía de envío y gestión de tareas.
¿Cómo se instala linkis?
Descarga una distribución compilada o un paquete de código fuente desde la página de versiones de Linkis Instala el POM padre antes de la primera compilación: ./mvnw -N install Genera el paquete de distribución del backend: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true Sigue la guía Quick Deployment del sitio oficial de documentación para realizar el despliegue
¿Dónde consigo linkis?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/apache/linkis

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados