Repolode
superlinked

superlinked/sie

Сервер инференса для самостоятельного развёртывания: запускает модели эмбеддингов, reranking, извлечения данных, OCR, защиты и LLM в одном кластере в вашем облаке.

Open source альтернатива:Hugging Face Inference EndpointsOpenAI APICohere Rerank

Звёзды
3,410
Форки
322
Открытые issues
31
Последний коммит
2 часа назад

Что это?

SIE (Superlinked Inference Engine) — сервер инференса с открытым исходным кодом, который запускает все модели, необходимые агенту, за единым API. Вместо отдельного сервера для каждой задачи он загружает по запросу любую из более чем 100 настроенных моделей и выгружает те, к которым дольше всего не обращались, когда требуется освободить память.

Сервер предоставляет совместимые с OpenAI эндпоинты для embeddings, chat completions, completions и responses, а также Python SDK и TypeScript SDK. Среди поддерживаемых задач — семантический поиск (плотные и разреженные эмбеддинги, эмбеддинги с поздним взаимодействием и reranking), преобразование документов в Markdown, классификация zero-shot, извлечение сущностей и структурированных данных, проверки безопасности контента, перевод, транскрибация, создание подписей к изображениям и обнаружение объектов.

Для продакшена проект включает шлюз с балансировкой нагрузки и Helm charts для Kubernetes, а также автоскейлинг через KEDA и дашборды Grafana. Руководства по интеграции охватывают LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate и LanceDB.

Ключевые возможности

  • 01Совместимые с OpenAI эндпоинты для embeddings, чата, completions и responses
  • 02Загрузка множества моделей по запросу и вытеснение давно не использовавшихся моделей на одном сервере
  • 03Развёртывание в Kubernetes с Helm charts, автоскейлингом через KEDA и дашбордами Grafana
  • 04Python SDK и TypeScript SDK с единым клиентом для кодирования, оценки и извлечения данных
  • 05Настроенные модели для поиска, OCR, классификации, защиты, перевода и транскрибации

Сценарии использования

  • Запуск моделей эмбеддингов и reranking для конвейера генерации с дополнением из найденных данных в своём облаке
  • Преобразование PDF и отсканированных документов в Markdown перед индексацией
  • Извлечение структурированных полей из обращений в поддержку и другого неструктурированного текста по заданной схеме
  • Добавление проверок безопасности контента в приложение на базе LLM без передачи данных стороннему API

Темы

Частые вопросы

Что такое sie?
Сервер инференса для самостоятельного развёртывания: запускает модели эмбеддингов, reranking, извлечения данных, OCR, защиты и LLM в одном кластере в вашем облаке. SIE (Superlinked Inference Engine) — сервер инференса с открытым исходным кодом, который запускает все модели, необходимые агенту, за единым API. Вместо отдельного сервера для каждой задачи он загружает по запросу любую из более чем 100 настроенных моделей и выгружает те, к которым дольше всего не обращались, когда требуется освободить память.
sie можно использовать бесплатно? Какая у него лицензия?
sie распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
sie всё ещё поддерживается?
Активно поддерживается. Последний коммит в sie — 18 окт. 2026 г..
Для чего можно использовать sie?
Запуск моделей эмбеддингов и reranking для конвейера генерации с дополнением из найденных данных в своём облаке Преобразование PDF и отсканированных документов в Markdown перед индексацией Извлечение структурированных полей из обращений в поддержку и другого неструктурированного текста по заданной схеме Добавление проверок безопасности контента в приложение на базе LLM без передачи данных стороннему API
Где скачать sie?
Исходный код и инструкции по установке — на GitHub: https://github.com/superlinked/sie

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Безопасная приватная среда выполнения для автономных AI-агентов: изолирует их в песочницах и применяет заданные политики доступа к файлам, системным вызовам и сети.

16,6 тыс.1,8 тыс.RustApache-2.0Обновлён 22 часа назад

Книга на китайском языке с открытым исходным кодом о проектировании AI-агентов, основанная на формуле Agent = LLM + контекст + инструменты и дополненная запускаемыми экспериментами к каждой главе.

54,8 тыс.6,3 тыс.PythonApache-2.0Обновлён 10 дней назад

Методология разработки ПО и библиотека комбинируемых навыков, которые помогают coding agents проводить мозговой штурм, планировать, следовать TDD и делегировать реализацию субагентам.

301,6 тыс.26,9 тыс.ShellMITОбновлён 9 дней назад