- スター
- 40,274
- フォーク
- 3,221
- 未解決の Issue
- 2,953
- 最終コミット
- 24 時間前
これは何?
PolarsはRustで書かれた、DataFrame向けの分析クエリエンジンです。遅延実行と即時実行の両方に対応し、遅延クエリは利用可能なすべてのCPUコアで実行される前に最適化されます。ストリーミングエンジンでは、クエリを少しずつ処理することで、メモリ容量を超えるデータセットも扱えます。
APIは組み合わせ可能な式を中心に構成されており、フィルタリング、グループ化、集計、ソートなどの変換を連結して1つのクエリにまとめられます。データはApache Arrowの列指向フォーマットで保存されるため、ほかのArrowベースのツールとゼロコピーで共有できます。I/Oプラグインや式プラグインによる拡張が可能で、オプションのGPUバックエンドを使えばNVIDIA製ハードウェア上でクエリを高速化できます。
Python、Rust、Node.js、R、SQL向けのバインディングが用意されています。また、pip、npm、crates.io、Rのパッケージシステムからインストールできます。
主な機能
- 01組み込みのクエリ最適化を備えた遅延実行と即時実行
- 02利用可能なRAMを超えるデータセットにも対応するストリーミングエンジン
- 03マルチスレッドおよびベクトル化された実行
- 04複雑なクエリを組み立てられる式ベースのAPI
- 05ゼロコピーでのデータ共有を可能にするApache Arrow列指向フォーマット
- 06オプションのNVIDIA GPUアクセラレーションと、カスタムI/Oプラグインまたは式プラグイン
ユースケース
- 単一マシンのメモリに収まらない大容量のParquetファイルやCSVファイルの分析
- pandasでの低速な処理を、より高速なグループ集計やフィルタリングに置き換える
- DataFrameエンジンが必要なRustまたはNode.jsのデータパイプラインの構築
- クラスターへ拡張できるスケーラブルなクエリ処理の実行
クイックスタート
- 1
pipでPython用のPolarsをインストールします
pip install polars - 2
Parquetファイルに対して遅延クエリを実行します(orders.parquetをお使いのファイル名に置き換えてください)
使う前に知っておきたいこと
- Pythonでのインストールが最も簡単です。ソースからビルドするにはRustツールチェーンとmaturinが必要です。
トピック
よくある質問
- polars とは?
- Rust製の高速なDataFrameクエリエンジン。Python、Node.js、R、Rust、SQL向けのバインディングを提供。 PolarsはRustで書かれた、DataFrame向けの分析クエリエンジンです。遅延実行と即時実行の両方に対応し、遅延クエリは利用可能なすべてのCPUコアで実行される前に最適化されます。ストリーミングエンジンでは、クエリを少しずつ処理することで、メモリ容量を超えるデータセットも扱えます。
- polars は無料で使えますか?ライセンスは?
- polars は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- polars は今もメンテナンスされていますか?
- 活発にメンテナンス中。polars の最終コミットは 2026年11月6日 です。
- polars は何に使えますか?
- 単一マシンのメモリに収まらない大容量のParquetファイルやCSVファイルの分析 pandasでの低速な処理を、より高速なグループ集計やフィルタリングに置き換える DataFrameエンジンが必要なRustまたはNode.jsのデータパイプラインの構築 クラスターへ拡張できるスケーラブルなクエリ処理の実行
- polars のインストール方法は?
- pipでPython用のPolarsをインストールします: pip install polars Parquetファイルに対して遅延クエリを実行します(orders.parquetをお使いのファイル名に置き換えてください)
- polars はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/pola-rs/polars
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
表形式データ向けのGPU高速化DataFrameライブラリ。pandas風APIと、コード変更不要のpandas高速化機能を提供します。
Trinoは、ビッグデータソースを横断して高速な分析クエリを実行する分散SQLクエリエンジンです。
参照データ、ヒストリカル、イントラデイ、ストリーミング、BQLのリクエストに対応する、Rust製エンジンを備えたBloombergクライアント。PythonとNode.jsのバインディングを提供します。
既存のPySparkコードをSpark Connectプロトコル経由で実行できる、Rust製のApache Spark互換エンジン。
データをメモリにすべて読み込まずに、数十億行の表形式データを遅延評価で探索・可視化できるPython用DataFrameライブラリ。