Repolode
apache

apache/linkis

REST/WS/JDBCインターフェースを介してアプリケーションとSpark、Hive、Flinkなどのデータエンジンをつなぐ計算ミドルウェア。

スター
3,417
フォーク
1,168
未解決の Issue
188
最終コミット
3 日前

これは何?

Apache Linkisは、上位アプリケーションと下位データエンジンの間に位置する計算ミドルウェアです。アプリケーションからMySQL、Spark、Hive、Presto、Flinkなどのエンジンに個別に直接接続する代わりに、標準的なREST、WebSocket、JDBCインターフェースを介してLinkisを呼び出します。これによりアプリケーション層とエンジン層が分離され、ネットワーク呼び出しの関係が単純になり、開発と保守の負担が軽減されます。

接続機能に加え、Linkisはエンジン間でユーザーリソースを相互利用できるようにします。変数、スクリプト、UDF、関数、リソースファイルを一度設定すれば、自動的に参照できます。また、マルチレベルのラベルに基づくタスクルーティング、負荷分散、マルチテナンシー、トラフィック制御、リソース制御などの計算ガバナンス機能に加え、マテリアルライブラリ、コンテキストサービス、データソース管理といった共通サービスも提供します。対応エンジンはSpark、Hive、Python、Shell、JDBC、Flink、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、Trino、SeaTunnelなどで、オフラインバッチ、インタラクティブクエリ、リアルタイムストリーミング、データレイクの各種タスクを実行できます。

主な機能

  • 01Spark、Hive、Python、Shell、Flink、JDBC、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、Trino、SeaTunnelなど、多数の下位エンジンに対応。
  • 02SparkSQL、HiveSQL、Python、Shell、Pyspark、Scala、JSON、Javaなど、複数の言語に対応。
  • 03タスクルーティング、負荷分散、マルチテナンシー、トラフィック制御、マルチレベルのラベルに基づくリソース制御を備えた計算ガバナンス。
  • 04リソースファイル(JAR、ZIP、Properties)、結果セット、パラメーター変数、関数、UDFを、ユーザー、システム、エンジン間で関連付ける統合コンテキストサービス。
  • 05システムレベルとユーザーレベルでマテリアルを一元管理し、ユーザー間・システム間で共有。
  • 06Hive、ElasticSearch、MySQL、Kafka、MongoDBなどのデータソースを一元管理。CRUD、バージョン管理、接続テスト、メタデータクエリに対応。
  • 07よくあるタスクエラーのエラーコードと解決方法を提示し、ユーザー自身で問題を特定できるよう支援。
  • 08上位アプリケーション向けにREST/WS/JDBCインターフェースを提供。

ユースケース

  • ビッグデータプラットフォームの下位にある計算エンジンやストレージエンジンへの統一されたエントリーポイントとして利用。
  • 単一の一貫したインターフェースを介してSpark、Hive、Presto、Flinkなどのエンジンに接続する必要があるアプリケーション。
  • リソース分離、トラフィック制御、タスクルーティングを必要とするマルチテナントプラットフォーム。
  • ユーザー、システム、エンジン間でスクリプト、UDF、リソースファイルを共有。
  • 単一のタスク投入・管理経路を通じて、オフラインバッチ、インタラクティブクエリ、ストリーミング、データレイクのタスクを実行。

クイックスタート

  1. 1

    Linkisのリリースページから、コンパイル済みの配布パッケージまたはソースパッケージをダウンロードします

  2. 2

    初回のコンパイル前に親POMをインストールします

    ./mvnw -N install
  3. 3

    バックエンドの配布パッケージをビルドします

    ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
  4. 4

    公式ドキュメントサイトのQuick Deploymentガイドに従ってデプロイします

使う前に知っておきたいこと

  • デプロイは大がかりです。Mavenでのビルド、またはクラスター全体のセットアップが必要な、複数サービスで構成されるJavaプラットフォームです。
  • ライセンス上の理由から、公式イメージにはMySQL JDBCドライバーが含まれていないため、自分で追加する必要があります。

収録されている特集

トピック

#big-data#computation-middleware#spark#hive#flink#presto#sql#jdbc#data-governance#application-manager

よくある質問

linkis とは?
REST/WS/JDBCインターフェースを介してアプリケーションとSpark、Hive、Flinkなどのデータエンジンをつなぐ計算ミドルウェア。 Apache Linkisは、上位アプリケーションと下位データエンジンの間に位置する計算ミドルウェアです。アプリケーションからMySQL、Spark、Hive、Presto、Flinkなどのエンジンに個別に直接接続する代わりに、標準的なREST、WebSocket、JDBCインターフェースを介してLinkisを呼び出します。これによりアプリケーション層とエンジン層が分離され、ネットワーク呼び出しの関係が単純になり、開発と保守の負担が軽減されます。
linkis は無料で使えますか?ライセンスは?
linkis は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
linkis は今もメンテナンスされていますか?
活発にメンテナンス中。linkis の最終コミットは 2026年11月4日 です。
linkis は何に使えますか?
ビッグデータプラットフォームの下位にある計算エンジンやストレージエンジンへの統一されたエントリーポイントとして利用。 単一の一貫したインターフェースを介してSpark、Hive、Presto、Flinkなどのエンジンに接続する必要があるアプリケーション。 リソース分離、トラフィック制御、タスクルーティングを必要とするマルチテナントプラットフォーム。 ユーザー、システム、エンジン間でスクリプト、UDF、リソースファイルを共有。 単一のタスク投入・管理経路を通じて、オフラインバッチ、インタラクティブクエリ、ストリーミング、データレイクのタスクを実行。
linkis のインストール方法は?
Linkisのリリースページから、コンパイル済みの配布パッケージまたはソースパッケージをダウンロードします 初回のコンパイル前に親POMをインストールします: ./mvnw -N install バックエンドの配布パッケージをビルドします: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true 公式ドキュメントサイトのQuick Deploymentガイドに従ってデプロイします
linkis はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/apache/linkis

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト