Querybookは、ノートブック形式のクエリエディタとテーブルメタデータを組み合わせ、分析の発見や共有を支援するビッグデータ向けIDEです。
apache/linkis
REST/WS/JDBCインターフェースを介してアプリケーションとSpark、Hive、Flinkなどのデータエンジンをつなぐ計算ミドルウェア。
- スター
- 3,417
- フォーク
- 1,168
- 未解決の Issue
- 188
- 最終コミット
- 3 日前
これは何?
Apache Linkisは、上位アプリケーションと下位データエンジンの間に位置する計算ミドルウェアです。アプリケーションからMySQL、Spark、Hive、Presto、Flinkなどのエンジンに個別に直接接続する代わりに、標準的なREST、WebSocket、JDBCインターフェースを介してLinkisを呼び出します。これによりアプリケーション層とエンジン層が分離され、ネットワーク呼び出しの関係が単純になり、開発と保守の負担が軽減されます。
接続機能に加え、Linkisはエンジン間でユーザーリソースを相互利用できるようにします。変数、スクリプト、UDF、関数、リソースファイルを一度設定すれば、自動的に参照できます。また、マルチレベルのラベルに基づくタスクルーティング、負荷分散、マルチテナンシー、トラフィック制御、リソース制御などの計算ガバナンス機能に加え、マテリアルライブラリ、コンテキストサービス、データソース管理といった共通サービスも提供します。対応エンジンはSpark、Hive、Python、Shell、JDBC、Flink、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、Trino、SeaTunnelなどで、オフラインバッチ、インタラクティブクエリ、リアルタイムストリーミング、データレイクの各種タスクを実行できます。
主な機能
- 01Spark、Hive、Python、Shell、Flink、JDBC、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、Trino、SeaTunnelなど、多数の下位エンジンに対応。
- 02SparkSQL、HiveSQL、Python、Shell、Pyspark、Scala、JSON、Javaなど、複数の言語に対応。
- 03タスクルーティング、負荷分散、マルチテナンシー、トラフィック制御、マルチレベルのラベルに基づくリソース制御を備えた計算ガバナンス。
- 04リソースファイル(JAR、ZIP、Properties)、結果セット、パラメーター変数、関数、UDFを、ユーザー、システム、エンジン間で関連付ける統合コンテキストサービス。
- 05システムレベルとユーザーレベルでマテリアルを一元管理し、ユーザー間・システム間で共有。
- 06Hive、ElasticSearch、MySQL、Kafka、MongoDBなどのデータソースを一元管理。CRUD、バージョン管理、接続テスト、メタデータクエリに対応。
- 07よくあるタスクエラーのエラーコードと解決方法を提示し、ユーザー自身で問題を特定できるよう支援。
- 08上位アプリケーション向けにREST/WS/JDBCインターフェースを提供。
ユースケース
- ビッグデータプラットフォームの下位にある計算エンジンやストレージエンジンへの統一されたエントリーポイントとして利用。
- 単一の一貫したインターフェースを介してSpark、Hive、Presto、Flinkなどのエンジンに接続する必要があるアプリケーション。
- リソース分離、トラフィック制御、タスクルーティングを必要とするマルチテナントプラットフォーム。
- ユーザー、システム、エンジン間でスクリプト、UDF、リソースファイルを共有。
- 単一のタスク投入・管理経路を通じて、オフラインバッチ、インタラクティブクエリ、ストリーミング、データレイクのタスクを実行。
クイックスタート
- 1
Linkisのリリースページから、コンパイル済みの配布パッケージまたはソースパッケージをダウンロードします
- 2
初回のコンパイル前に親POMをインストールします
./mvnw -N install - 3
バックエンドの配布パッケージをビルドします
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true - 4
公式ドキュメントサイトのQuick Deploymentガイドに従ってデプロイします
使う前に知っておきたいこと
- デプロイは大がかりです。Mavenでのビルド、またはクラスター全体のセットアップが必要な、複数サービスで構成されるJavaプラットフォームです。
- ライセンス上の理由から、公式イメージにはMySQL JDBCドライバーが含まれていないため、自分で追加する必要があります。
収録されている特集
トピック
よくある質問
- linkis とは?
- REST/WS/JDBCインターフェースを介してアプリケーションとSpark、Hive、Flinkなどのデータエンジンをつなぐ計算ミドルウェア。 Apache Linkisは、上位アプリケーションと下位データエンジンの間に位置する計算ミドルウェアです。アプリケーションからMySQL、Spark、Hive、Presto、Flinkなどのエンジンに個別に直接接続する代わりに、標準的なREST、WebSocket、JDBCインターフェースを介してLinkisを呼び出します。これによりアプリケーション層とエンジン層が分離され、ネットワーク呼び出しの関係が単純になり、開発と保守の負担が軽減されます。
- linkis は無料で使えますか?ライセンスは?
- linkis は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- linkis は今もメンテナンスされていますか?
- 活発にメンテナンス中。linkis の最終コミットは 2026年11月4日 です。
- linkis は何に使えますか?
- ビッグデータプラットフォームの下位にある計算エンジンやストレージエンジンへの統一されたエントリーポイントとして利用。 単一の一貫したインターフェースを介してSpark、Hive、Presto、Flinkなどのエンジンに接続する必要があるアプリケーション。 リソース分離、トラフィック制御、タスクルーティングを必要とするマルチテナントプラットフォーム。 ユーザー、システム、エンジン間でスクリプト、UDF、リソースファイルを共有。 単一のタスク投入・管理経路を通じて、オフラインバッチ、インタラクティブクエリ、ストリーミング、データレイクのタスクを実行。
- linkis のインストール方法は?
- Linkisのリリースページから、コンパイル済みの配布パッケージまたはソースパッケージをダウンロードします 初回のコンパイル前に親POMをインストールします: ./mvnw -N install バックエンドの配布パッケージをビルドします: ./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true 公式ドキュメントサイトのQuick Deploymentガイドに従ってデプロイします
- linkis はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/apache/linkis
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
SQL、Scala、Pythonなどのインタープリターを共有ドキュメントで使える、インタラクティブなデータ分析向けWebノートブック。
Spark、Trino、Flink、Hiveなどのエンジンが同じテーブルを安全に共有できる、大規模な分析データセット向けの高性能なオープンテーブルフォーマットです。
Apache FlinkとSparkのジョブを実行・管理する、ストリーミングアプリケーション開発フレームワーク兼クラウドネイティブなコントロールプレーン。
Scala、Java、Python、RのAPIを備えた、大規模データ処理向けの統合分析エンジン。
Apache Flinkは、Java、Scala、Python、SQL APIを備えた、ステートフルなストリームおよびバッチデータ処理のためのオープンソースフレームワークです。