Repolode
제출하기
superlinked

superlinked/sie

자체 클라우드의 단일 클러스터에서 임베딩, 리랭킹, 추출, OCR, 가드레일, LLM 모델을 제공하는 셀프 호스팅 추론 서버입니다.

대체할 수 있는 제품:Hugging Face Inference EndpointsOpenAI APICohere Rerank

GitHub에서 보기웹사이트
스타
3,410
포크
322
열린 이슈
31
마지막 커밋
5시간 전

어떤 프로젝트인가요?

SIE(Superlinked Inference Engine)는 에이전트에 필요한 모든 모델을 단일 API 뒤에서 실행하도록 설계된 오픈소스 추론 서버입니다. 작업마다 별도의 모델 서버를 운영하는 대신, 설정된 100개 이상의 모델을 필요할 때 로드하고 메모리가 필요해지면 가장 오랫동안 사용하지 않은 모델부터 내립니다.

서버는 임베딩, 채팅 완료, 텍스트 완료, responses를 위한 OpenAI 호환 엔드포인트를 제공하며, Python SDK와 TypeScript SDK도 함께 제공합니다. 지원 작업에는 시맨틱 검색(밀집·희소·late-interaction 임베딩 및 리랭킹), 문서의 마크다운 변환, 제로샷 분류, 엔터티 및 구조화된 정보 추출, 콘텐츠 안전성 검사, 번역, 음성 전사, 이미지 캡션 생성 및 객체 탐지가 포함됩니다.

프로덕션 환경을 위해 로드 밸런싱 게이트웨이와 KEDA 자동 확장 및 Grafana 대시보드가 포함된 Kubernetes용 Helm 차트를 제공합니다. 통합 가이드에서는 LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate, LanceDB를 다룹니다.

핵심 기능

  • 01임베딩, 채팅, 텍스트 완료, responses를 위한 OpenAI 호환 엔드포인트
  • 02단일 서버에서 다수의 모델을 필요할 때 로드하고 LRU 방식으로 내리기
  • 03Helm 차트, KEDA 자동 확장, Grafana 대시보드를 통한 Kubernetes 배포
  • 04인코딩, 점수 산정, 추출을 위한 단일 클라이언트를 제공하는 Python 및 TypeScript SDK
  • 05검색, OCR, 분류, 가드레일, 번역, 음성 전사용 사전 구성 모델

활용 사례

  • 자체 클라우드에서 검색 증강 생성 파이프라인용 임베딩 및 리랭킹 모델 실행
  • PDF와 스캔 문서를 인덱싱하기 전에 마크다운으로 변환
  • 스키마를 사용해 지원 티켓이나 기타 자유 형식 텍스트에서 구조화된 필드 추출
  • 데이터를 서드파티 API로 보내지 않고 LLM 애플리케이션에 콘텐츠 안전성 검사 추가

토픽

#inference-server#embeddings#semantic-search#reranking#rag#kubernetes#openai-compatible#llm#bge#colbert

자주 묻는 질문

sie은(는) 무엇인가요?
자체 클라우드의 단일 클러스터에서 임베딩, 리랭킹, 추출, OCR, 가드레일, LLM 모델을 제공하는 셀프 호스팅 추론 서버입니다. SIE(Superlinked Inference Engine)는 에이전트에 필요한 모든 모델을 단일 API 뒤에서 실행하도록 설계된 오픈소스 추론 서버입니다. 작업마다 별도의 모델 서버를 운영하는 대신, 설정된 100개 이상의 모델을 필요할 때 로드하고 메모리가 필요해지면 가장 오랫동안 사용하지 않은 모델부터 내립니다.
sie은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
sie은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
sie은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. sie의 마지막 커밋은 2026년 10월 18일입니다.
sie은(는) 어디에 사용할 수 있나요?
자체 클라우드에서 검색 증강 생성 파이프라인용 임베딩 및 리랭킹 모델 실행 PDF와 스캔 문서를 인덱싱하기 전에 마크다운으로 변환 스키마를 사용해 지원 티켓이나 기타 자유 형식 텍스트에서 구조화된 필드 추출 데이터를 서드파티 API로 보내지 않고 LLM 애플리케이션에 콘텐츠 안전성 검사 추가
sie은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/superlinked/sie

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트