Repolode
投稿する
superlinked

superlinked/sie

自社クラウドの単一クラスターで、各種モデルを提供するセルフホスト型推論サーバー。

代替できる製品:Hugging Face Inference EndpointsOpenAI APICohere Rerank

GitHub で見る公式サイト
スター
3,410
フォーク
322
未解決の Issue
31
最終コミット
10 時間前

これは何？

SIE（Superlinked Inference Engine）は、エージェントに必要なすべてのモデルを単一のAPIの背後で実行するためのオープンソース推論サーバーです。タスクごとに別々のモデルサーバーを運用する代わりに、設定済みの100種類以上のモデルを必要に応じて読み込み、メモリが必要になると最も長く使われていないモデルから解放します。

このサーバーは、embeddings、chat completions、completions、responses向けのOpenAI互換エンドポイントを提供し、Python SDKとTypeScript SDKも付属しています。対応タスクには、セマンティック検索（dense、sparse、late-interaction embeddingsとreranking）、ドキュメントからMarkdownへの変換、zero-shot分類、エンティティ抽出と構造化抽出、コンテンツ安全性チェック、翻訳、文字起こし、画像のキャプション生成や検出が含まれます。

本番環境向けに、ロードバランシングゲートウェイと、KEDAによるオートスケーリングおよびGrafanaダッシュボードを備えたKubernetes用Helmチャートが用意されています。統合ガイドでは、LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate、LanceDBを扱っています。

主な機能

  • 01embeddings、chat、completions、responses向けのOpenAI互換エンドポイント
  • 021台のサーバー上で多数のモデルをオンデマンドで読み込み、LRU方式で解放
  • 03Helmチャート、KEDAによるオートスケーリング、Grafanaダッシュボードを使ったKubernetesへのデプロイ
  • 04エンコード、スコアリング、抽出を単一のクライアントで扱えるPythonおよびTypeScript SDK
  • 05検索、OCR、分類、ガードレール、翻訳、文字起こし用の設定済みモデル

ユースケース

  • 自社クラウドで、検索拡張生成パイプライン向けのembeddingモデルとrerankingモデルを実行する
  • インデックス作成前にPDFやスキャン文書をMarkdownに変換する
  • スキーマを指定し、サポートチケットなどの自由記述テキストから構造化フィールドを抽出する
  • データをサードパーティのAPIに送信せず、LLMアプリケーションにコンテンツ安全性チェックを追加する

トピック

#inference-server#embeddings#semantic-search#reranking#rag#kubernetes#openai-compatible#llm#bge#colbert

よくある質問

sie とは？
自社クラウドの単一クラスターで、各種モデルを提供するセルフホスト型推論サーバー。 SIE（Superlinked Inference Engine）は、エージェントに必要なすべてのモデルを単一のAPIの背後で実行するためのオープンソース推論サーバーです。タスクごとに別々のモデルサーバーを運用する代わりに、設定済みの100種類以上のモデルを必要に応じて読み込み、メモリが必要になると最も長く使われていないモデルから解放します。
sie は無料で使えますか？ライセンスは？
sie は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
sie は今もメンテナンスされていますか？
活発にメンテナンス中。sie の最終コミットは 2026年10月18日 です。
sie は何に使えますか？
自社クラウドで、検索拡張生成パイプライン向けのembeddingモデルとrerankingモデルを実行する インデックス作成前にPDFやスキャン文書をMarkdownに変換する スキーマを指定し、サポートチケットなどの自由記述テキストから構造化フィールドを抽出する データをサードパーティのAPIに送信せず、LLMアプリケーションにコンテンツ安全性チェックを追加する
sie はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/superlinked/sie

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト