Python、SQL、Rでデータパイプラインを構築・スケジュール・デバッグできる、セルフホスト型のノートブック風環境。
spiceai/spiceai
データベースやAPIを対象に、ローカルでの高速化とCDCレプリカを備えたフェデレーテッドSQL、検索、LLM推論を提供するRust製データ・AIエンジン。
- スター
- 3,128
- フォーク
- 238
- 未解決の Issue
- 953
- 最終コミット
- 15 時間前
これは何?
Spiceはデータベース、データウェアハウス、データレイク、APIに接続し、HTTP経由のSQL、Arrow Flight SQL、JDBC、ODBC、ADBCを通じて、アプリケーションやAIエージェントにデータを提供します。データセットは単一のspicepod.yamlファイルで定義でき、必要に応じてメモリまたはディスク上にローカルでマテリアライズできます。定期的な更新や変更データキャプチャにも対応しています。高速化されたデータセットにはローカルでクエリを実行し、それ以外のデータセットには述語プッシュダウンを使ってデータソース側でクエリを実行します。
クエリフェデレーションに加え、SpiceはSQLのテーブル関数として利用できるベクトル検索、全文検索、ハイブリッド検索を提供します。また、OpenAI互換のLLMゲートウェイとローカルモデルのサービング、text-to-SQL、MCPサーバーおよびゲートウェイも備えています。Apache DataFusion、Arrow、Vortexを基盤とする単一バイナリで、サイドカー、スタンドアロンサービス、分散Ballistaクラスターとして実行できます。ランタイムとCLIはApache-2.0ライセンスです。
主な機能
- 0130以上のデータソースにまたがる、クエリプッシュダウン対応のフェデレーテッドSQLクエリ
- 02データセットごとにメモリまたはディスク上で高速化し、定期更新またはCDCに対応
- 03Kafkaを介さず、PostgreSQL、MySQL、MongoDBからネイティブにCDCレプリケーション
- 04SQL内でのベクトル検索、全文検索、ハイブリッド検索(RRF、リランキング)
- 05OpenAI互換のLLMゲートウェイ、ローカルモデルのサービング、text-to-SQL
- 06SQLのINSERT INTOによる書き込みに対応したIcebergカタログ
ユースケース
- 運用中のPostgreSQLまたはMySQLデータベースの隣に、読み取り専用の分析レプリカを追加する
- 単一のエンドポイントを通じて、AIエージェントに社内データへのSQLおよび検索アクセスを提供する
- ベクトル検索とキーワード検索を組み合わせた検索拡張生成パイプラインを構築する
- Arrow Flight SQLまたはJDBC経由でBIツールから複数のデータソースをクエリする
使う前に知っておきたいこと
- データベース全体のPostgreSQL CDCレプリケーションなど、一部の機能はAlphaとしてマークされています。
収録されている特集
トピック
よくある質問
- spiceai とは?
- データベースやAPIを対象に、ローカルでの高速化とCDCレプリカを備えたフェデレーテッドSQL、検索、LLM推論を提供するRust製データ・AIエンジン。 Spiceはデータベース、データウェアハウス、データレイク、APIに接続し、HTTP経由のSQL、Arrow Flight SQL、JDBC、ODBC、ADBCを通じて、アプリケーションやAIエージェントにデータを提供します。データセットは単一のspicepod.yamlファイルで定義でき、必要に応じてメモリまたはディスク上にローカルでマテリアライズできます。定期的な更新や変更データキャプチャにも対応しています。高速化されたデータセットにはローカルでクエリを実行し、それ以外のデータセットには述語プッシュダウンを使ってデータソース側でクエリを実行します。
- spiceai は無料で使えますか?ライセンスは?
- spiceai は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- spiceai は今もメンテナンスされていますか?
- 活発にメンテナンス中。spiceai の最終コミットは 2026年11月5日 です。
- spiceai は何に使えますか?
- 運用中のPostgreSQLまたはMySQLデータベースの隣に、読み取り専用の分析レプリカを追加する 単一のエンドポイントを通じて、AIエージェントに社内データへのSQLおよび検索アクセスを提供する ベクトル検索とキーワード検索を組み合わせた検索拡張生成パイプラインを構築する Arrow Flight SQLまたはJDBC経由でBIツールから複数のデータソースをクエリする
- spiceai はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/spiceai/spiceai
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
AIエージェント、`.deepnote` YAML形式、Python・R・SQL向けのブロックエディターを備えた、Jupyterの置き換えとして使えるノートブック環境。
S3互換ストレージ上でSQL分析、ベクトル検索、全文検索、Python UDFのサンドボックス実行を提供するRust製オープンソースデータウェアハウス。
高速なSQL分析、レイクハウスのクエリ高速化、ハイブリッドなテキスト・ベクトル検索を提供するオープンソースMPPリアルタイム分析データベース。
リアルタイムインデックス作成とSQLに対応し、全文検索・ベクトル検索・ハイブリッド検索を提供するオープンソースの検索データベース。Elasticsearchの代替として利用できます。
Trinoは、ビッグデータソースを横断して高速な分析クエリを実行する分散SQLクエリエンジンです。