Repolode

#arrow

おすすめのオープンソース列指向のDataFrameとクエリエンジン(2026年)

これらのツールは、列指向のメモリ上で表形式データに対するクエリや変換を実行します。大規模なデータセットでは、行単位のコードより大幅に速いことがよくあります。選ぶ際は、pandas や Spark などの既存環境をそのまま置き換えたいのか、直接呼び出す新しいエンジンが欲しいのかを決め、NVIDIA GPU を使えるかも確認してください。polars は Python、Node.js、R、SQL から使える高速な Rust 製エンジンです。cudf は pandas スタイルのコードを GPU で実行し、多くの場合コードの変更は不要です。sail は既存の PySpark コードを Spark Connect 経由で実行します。

6 件のリポジトリ

参照データ、ヒストリカル、イントラデイ、ストリーミング、BQLのリクエストに対応する、Rust製エンジンを備えたBloombergクライアント。PythonとNode.jsのバインディングを提供します。

70364RustApache-2.0活発にメンテナンス更新 19 時間前

DataFusionを基盤とするRustエンジンでApache Arrowのカラムナーデータ上でSpark SQLとDataFrameの演算子を実行し、コード変更なしでSparkを高速化します。

データ・分析#spark#arrow#datafusion
1316+7 今週414ScalaApache-2.0更新 4 時間前