zilliztech/GPTCache

O que é?

Recursos principais

• 01Correspondência semântica de consultas por meio de embeddings e busca vetorial, não apenas comparação exata de strings.
• 02Adaptadores de LLM intercambiáveis, incluindo integração com OpenAI ChatCompletion e LangChain.
• 03Vários backends de armazenamento, como SQLite, PostgreSQL, MySQL e DynamoDB.
• 04Suporte a bancos vetoriais como Milvus, FAISS, Chroma, Qdrant e Weaviate.
• 05Cache distribuído por meio de Redis ou memcached para implantações com escalabilidade horizontal.
• 06Imagem Docker de servidor que permite a aplicações em qualquer linguagem usar o cache.

Casos de uso

• Reduzir os custos de APIs da OpenAI ou de outros LLMs em um chatbot que recebe muitas perguntas semelhantes dos usuários.
• Acelerar respostas em uma aplicação LangChain ou LlamaIndex reutilizando respostas anteriores.
• Testar aplicações com LLMs localmente sem chamar o modelo em produção a cada execução.
• Compartilhar um cache semântico entre várias réplicas de serviço usando Redis.

Início rápido

1. 1

   Instale o pacote pelo PyPI

   pip install gptcache
2. 2

   Inicialize o cache no seu código OpenAI existente

Antes de usar

• !A API pode mudar a qualquer momento porque o projeto está em desenvolvimento acelerado.
• !O projeto não adiciona mais suporte a novas APIs ou modelos de LLM; o README recomenda usar a API get e set em vez disso.
• !Requer Python 3.8.1 ou superior.

Tópicos

Perguntas frequentes

O que é GPTCache?

Biblioteca de cache semântico para consultas a LLMs que reutiliza respostas para perguntas semelhantes, reduzindo custos de API e latência. GPTCache é uma biblioteca Python que armazena em cache respostas de APIs de modelos de linguagem grandes. Em vez de comparar apenas prompts idênticos, ela transforma consultas em embeddings e busca perguntas anteriores semanticamente semelhantes em um banco vetorial, retornando uma resposta armazenada quando encontra uma correspondência próxima. Isso reduz chamadas repetidas à API, gastos com tokens e tempo de resposta em aplicações que recebem muitas solicitações parecidas.

GPTCache é gratuito? Qual é a licença?

GPTCache é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

GPTCache ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de GPTCache foi em 22 de set. de 2026.

Para que posso usar GPTCache?

Reduzir os custos de APIs da OpenAI ou de outros LLMs em um chatbot que recebe muitas perguntas semelhantes dos usuários. Acelerar respostas em uma aplicação LangChain ou LlamaIndex reutilizando respostas anteriores. Testar aplicações com LLMs localmente sem chamar o modelo em produção a cada execução. Compartilhar um cache semântico entre várias réplicas de serviço usando Redis.

Como instalar GPTCache?

Instale o pacote pelo PyPI: pip install gptcache Inicialize o cache no seu código OpenAI existente

Onde consigo GPTCache?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/zilliztech/GPTCache