Repolode
pola-rs

pola-rs/polars

Rust製の高速なDataFrameクエリエンジン。Python、Node.js、R、Rust、SQL向けのバインディングを提供。

代替できる製品:pandas

スター
40,274
フォーク
3,221
未解決の Issue
2,953
最終コミット
24 時間前

これは何?

PolarsはRustで書かれた、DataFrame向けの分析クエリエンジンです。遅延実行と即時実行の両方に対応し、遅延クエリは利用可能なすべてのCPUコアで実行される前に最適化されます。ストリーミングエンジンでは、クエリを少しずつ処理することで、メモリ容量を超えるデータセットも扱えます。

APIは組み合わせ可能な式を中心に構成されており、フィルタリング、グループ化、集計、ソートなどの変換を連結して1つのクエリにまとめられます。データはApache Arrowの列指向フォーマットで保存されるため、ほかのArrowベースのツールとゼロコピーで共有できます。I/Oプラグインや式プラグインによる拡張が可能で、オプションのGPUバックエンドを使えばNVIDIA製ハードウェア上でクエリを高速化できます。

Python、Rust、Node.js、R、SQL向けのバインディングが用意されています。また、pip、npm、crates.io、Rのパッケージシステムからインストールできます。

主な機能

  • 01組み込みのクエリ最適化を備えた遅延実行と即時実行
  • 02利用可能なRAMを超えるデータセットにも対応するストリーミングエンジン
  • 03マルチスレッドおよびベクトル化された実行
  • 04複雑なクエリを組み立てられる式ベースのAPI
  • 05ゼロコピーでのデータ共有を可能にするApache Arrow列指向フォーマット
  • 06オプションのNVIDIA GPUアクセラレーションと、カスタムI/Oプラグインまたは式プラグイン

ユースケース

  • 単一マシンのメモリに収まらない大容量のParquetファイルやCSVファイルの分析
  • pandasでの低速な処理を、より高速なグループ集計やフィルタリングに置き換える
  • DataFrameエンジンが必要なRustまたはNode.jsのデータパイプラインの構築
  • クラスターへ拡張できるスケーラブルなクエリ処理の実行

クイックスタート

  1. 1

    pipでPython用のPolarsをインストールします

    pip install polars
  2. 2

    Parquetファイルに対して遅延クエリを実行します(orders.parquetをお使いのファイル名に置き換えてください)

使う前に知っておきたいこと

  • Pythonでのインストールが最も簡単です。ソースからビルドするにはRustツールチェーンとmaturinが必要です。

トピック

#dataframe#query-engine#rust#python#data-processing#arrow#columnar#analytics#dataframe-library#dataframes

よくある質問

polars とは?
Rust製の高速なDataFrameクエリエンジン。Python、Node.js、R、Rust、SQL向けのバインディングを提供。 PolarsはRustで書かれた、DataFrame向けの分析クエリエンジンです。遅延実行と即時実行の両方に対応し、遅延クエリは利用可能なすべてのCPUコアで実行される前に最適化されます。ストリーミングエンジンでは、クエリを少しずつ処理することで、メモリ容量を超えるデータセットも扱えます。
polars は無料で使えますか?ライセンスは?
polars は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
polars は今もメンテナンスされていますか?
活発にメンテナンス中。polars の最終コミットは 2026年11月6日 です。
polars は何に使えますか?
単一マシンのメモリに収まらない大容量のParquetファイルやCSVファイルの分析 pandasでの低速な処理を、より高速なグループ集計やフィルタリングに置き換える DataFrameエンジンが必要なRustまたはNode.jsのデータパイプラインの構築 クラスターへ拡張できるスケーラブルなクエリ処理の実行
polars のインストール方法は?
pipでPython用のPolarsをインストールします: pip install polars Parquetファイルに対して遅延クエリを実行します(orders.parquetをお使いのファイル名に置き換えてください)
polars はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/pola-rs/polars

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト

DataFusionを基盤とするRustエンジンでApache Arrowのカラムナーデータ上でSpark SQLとDataFrameの演算子を実行し、コード変更なしでSparkを高速化します。

データ・分析#spark#arrow#datafusion
1315+9 今週413ScalaApache-2.0更新 昨日

参照データ、ヒストリカル、イントラデイ、ストリーミング、BQLのリクエストに対応する、Rust製エンジンを備えたBloombergクライアント。PythonとNode.jsのバインディングを提供します。

70364RustApache-2.0活発にメンテナンス更新 3 日前