Repolode
Enviar
superlinked

superlinked/sie

Servidor de inferência autohospedado que disponibiliza modelos de embeddings, reranking, extração, OCR, guardrails e LLM em um único cluster na sua própria cloud.

Alternativa open source a:Hugging Face Inference EndpointsOpenAI APICohere Rerank

Ver no GitHubSite
Estrelas
3,410
Forks
322
Issues abertas
31
Último commit
há 6 horas

O que é?

O SIE (Superlinked Inference Engine) é um servidor de inferência open source feito para executar todos os modelos de que um agente precisa por trás de uma única API. Em vez de executar um servidor de modelos separado para cada tarefa, ele carrega sob demanda qualquer um dos mais de 100 modelos configurados e remove os menos usados recentemente quando precisa liberar memória.

O servidor oferece endpoints compatíveis com a OpenAI para embeddings, chat completions, completions e responses, além de incluir um SDK para Python e outro para TypeScript. As tarefas compatíveis incluem busca semântica (embeddings densos, esparsos e de interação tardia, além de reranking), conversão de documentos para Markdown, classificação zero-shot, extração de entidades e dados estruturados, verificações de segurança de conteúdo, tradução, transcrição e geração de legendas ou detecção em imagens.

Para produção, o projeto inclui um gateway com balanceamento de carga e Helm charts para Kubernetes, com autoscaling via KEDA e dashboards do Grafana. Os guias de integração abrangem LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate e LanceDB.

Recursos principais

  • 01Endpoints compatíveis com a OpenAI para embeddings, chat, completions e responses
  • 02Carregamento sob demanda de vários modelos, com remoção LRU em um único servidor
  • 03Deploy em Kubernetes com Helm charts, autoscaling via KEDA e dashboards do Grafana
  • 04SDKs para Python e TypeScript com um único cliente para codificação, pontuação e extração
  • 05Modelos pré-configurados para busca, OCR, classificação, guardrails, tradução e transcrição

Casos de uso

  • Executar modelos de embeddings e reranking para um pipeline de geração aumentada por recuperação na sua própria cloud
  • Converter PDFs e documentos digitalizados para Markdown antes de indexá-los
  • Extrair campos estruturados de chamados de suporte ou outros textos livres usando um schema
  • Adicionar verificações de segurança de conteúdo a uma aplicação com LLM sem enviar dados para uma API de terceiros

Tópicos

#inference-server#embeddings#semantic-search#reranking#rag#kubernetes#openai-compatible#llm#bge#colbert

Perguntas frequentes

O que é sie?
Servidor de inferência autohospedado que disponibiliza modelos de embeddings, reranking, extração, OCR, guardrails e LLM em um único cluster na sua própria cloud. O SIE (Superlinked Inference Engine) é um servidor de inferência open source feito para executar todos os modelos de que um agente precisa por trás de uma única API. Em vez de executar um servidor de modelos separado para cada tarefa, ele carrega sob demanda qualquer um dos mais de 100 modelos configurados e remove os menos usados recentemente quando precisa liberar memória.
sie é gratuito? Qual é a licença?
sie é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
sie ainda é mantido?
Manutenção ativa. O último commit de sie foi em 18 de out. de 2026.
Para que posso usar sie?
Executar modelos de embeddings e reranking para um pipeline de geração aumentada por recuperação na sua própria cloud Converter PDFs e documentos digitalizados para Markdown antes de indexá-los Extrair campos estruturados de chamados de suporte ou outros textos livres usando um schema Adicionar verificações de segurança de conteúdo a uma aplicação com LLM sem enviar dados para uma API de terceiros
Onde consigo sie?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/superlinked/sie

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados