Repolode
superlinked

superlinked/sie

可自托管的推理服务器,用一个集群统一提供嵌入、重排序、信息抽取、OCR 和生成等模型服务。

可替代:Hugging Face Inference EndpointsOpenAI APICohere Rerank

Star
3,410
Fork
322
未关闭 Issue
31
最近提交
10小时前

这是什么?

SIE(Superlinked Inference Engine)是一个开源推理服务器,目标是通过一套 API 运行智能体所需的全部模型。它不必为每个任务单独部署模型服务,而是按需加载其中 100 多个已配置的模型,内存不足时淘汰最近最少使用的模型。

服务兼容 OpenAI 接口,提供嵌入、对话补全、文本补全和 responses 等端点,并附带 Python 与 TypeScript SDK。支持的任务包括语义检索(稠密、稀疏及 late-interaction 嵌入加重排序)、文档转 Markdown、零样本分类、实体与结构化信息抽取、内容安全审核、翻译、语音转写,以及图像描述和目标检测。

面向生产环境,项目提供负载均衡网关以及 Kubernetes 的 Helm Chart,支持 KEDA 自动扩缩容(可缩容至零)和 Grafana 监控面板。集成指南涵盖 LangChain、LlamaIndex、Haystack、DSPy、CrewAI,以及 Chroma、Qdrant、Weaviate、LanceDB 等向量数据库。

核心功能

  • 01兼容 OpenAI 的 embeddings、chat、completions 和 responses 接口
  • 02单个服务按需加载多个模型,并使用 LRU 策略淘汰
  • 03提供 Helm Chart 部署到 Kubernetes,支持 KEDA 自动扩缩容和 Grafana 面板
  • 04Python 与 TypeScript SDK 统一封装向量编码、重排序和信息抽取
  • 05内置搜索、OCR、分类、内容安全、翻译和语音转写等预配置模型

适用场景

  • 在自有云环境中为检索增强生成(RAG)流程运行嵌入和重排序模型
  • 在建立索引前将 PDF 和扫描件转换为 Markdown
  • 依据 schema 从工单或其他自由文本中抽取结构化字段
  • 在 LLM 应用中加入内容安全检测,避免数据发送至第三方 API

标签

常见问题

sie 是什么?
可自托管的推理服务器,用一个集群统一提供嵌入、重排序、信息抽取、OCR 和生成等模型服务。 SIE(Superlinked Inference Engine)是一个开源推理服务器,目标是通过一套 API 运行智能体所需的全部模型。它不必为每个任务单独部署模型服务,而是按需加载其中 100 多个已配置的模型,内存不足时淘汰最近最少使用的模型。
sie 可以免费使用吗?用的什么许可证?
sie 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
sie 还在维护吗?
活跃维护中。sie 最近一次提交是在 2026年10月18日。
sie 适合用来做什么?
在自有云环境中为检索增强生成(RAG)流程运行嵌入和重排序模型 在建立索引前将 PDF 和扫描件转换为 Markdown 依据 schema 从工单或其他自由文本中抽取结构化字段 在 LLM 应用中加入内容安全检测,避免数据发送至第三方 API
在哪里获取 sie?
源代码和安装说明在 GitHub 上:https://github.com/superlinked/sie

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目