「caching」に関するオープンソースプロジェクト

LLM推論エンジン間でattentionのKVキャッシュを保存・共有・再利用し、time-to-first-tokenを短縮する管理レイヤー。

キャッシュ、データ構造サーバー、ドキュメントストア、ベクトルデータベース、メッセージブローカーとして使えるインメモリデータストア。

ローカル、CI、クラウドでコードベースのビルド・テスト・リリースを行うプログラム可能な自動化エンジン。