Open source проекты по теме «caching»

Слой управления KV-кэшем, который хранит, передаёт и повторно использует кэши внимания LLM между serving-движками, сокращая время до первого токена.

Хранилище данных в памяти для кэширования, работы со структурами данных и документами, векторного поиска и обмена сообщениями.

Программируемый движок автоматизации для сборки, тестирования и доставки кодовых баз в контейнерах — локально, в CI или в облаке.