Projetos open source sobre “caching”

Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.

Um armazenamento de dados em memória usado como cache, servidor de estruturas de dados, repositório de documentos e vetores e broker de mensagens.

Um mecanismo programável de automação que compila, testa e entrega bases de código com containers, localmente, em CI ou na nuvem.