Слой управления KV-кэшем, который хранит, передаёт и повторно использует кэши внимания LLM между serving-движками, сокращая время до первого токена.
#distributed-systems
Open source проекты по теме «distributed-systems»
Отобранные репозитории GitHub по теме distributed-systems с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
Хранилище данных в памяти для кэширования, работы со структурами данных и документами, векторного поиска и обмена сообщениями.
Китайскоязычное руководство по подготовке к собеседованиям на Java backend: основы CS, базы данных, распределённые системы, проектирование систем и разработка AI-приложений.
Распределённая RESTful-система поиска и аналитики, которая также служит масштабируемым хранилищем данных и векторной базой данных.
Распределённое надёжное key-value хранилище для критически важных данных распределённых систем на основе консенсуса Raft с gRPC API.
Распределённое OLAP-хранилище для аналитики с низкой задержкой по потоковым и пакетным данным, поступающим из Kafka и S3.
Подборка из более чем 300 инженерных статей из блогов Airbnb, Netflix, Uber, Stripe и других компаний, сгруппированных по компаниям.