Repolode
Enviar
zilliztech

zilliztech/GPTCache

Una biblioteca de caché semántica para consultas a LLM que guarda respuestas y las reutiliza para preguntas similares, reduciendo los costos de API y la latencia.

Ver en GitHubSitio web
Estrellas
8,213
Forks
597
Issues abiertos
100
Último commit
el mes pasado

¿Qué es?

GPTCache es una biblioteca de Python que almacena en caché las respuestas de las API de modelos de lenguaje grandes. En lugar de limitarse a buscar coincidencias exactas entre prompts, convierte las consultas en embeddings y busca preguntas anteriores semánticamente similares en un almacén vectorial. Si encuentra una coincidencia cercana, devuelve la respuesta guardada. Así reduce las llamadas repetidas a la API, el gasto en tokens y el tiempo de respuesta en aplicaciones que reciben muchas solicitudes similares.

La biblioteca es modular: se puede sustituir cada componente. Incluye adaptadores de LLM (OpenAI, LangChain, Llama.cpp, Dolly y otros), generadores de embeddings (ONNX, OpenAI, Cohere, Hugging Face, SentenceTransformers y otros), almacenamiento de caché (SQLite, PostgreSQL, MySQL, DuckDB, DynamoDB y otros), almacenes vectoriales (Milvus, Zilliz Cloud, FAISS, Chroma, PGVector, Qdrant, Weaviate y otros) y políticas de expulsión como LRU, LFU y FIFO. También ofrece una imagen Docker del servidor para que aplicaciones escritas en cualquier lenguaje puedan usar la caché a través de la red.

El proyecto está en desarrollo activo y su API puede cambiar entre versiones. El README indica que ya no se añaden adaptadores para nuevas formas de las API de LLM y recomienda usar la API get y set para integraciones personalizadas.

Funciones clave

  • 01Búsqueda semántica de consultas mediante embeddings y búsqueda vectorial, no solo coincidencias exactas de cadenas.
  • 02Adaptadores de LLM conectables, incluida la integración con OpenAI ChatCompletion y LangChain.
  • 03Varios backends de almacenamiento, como SQLite, PostgreSQL, MySQL y DynamoDB.
  • 04Compatibilidad con almacenes vectoriales como Milvus, FAISS, Chroma, Qdrant y Weaviate.
  • 05Caché distribuida mediante Redis o memcached para despliegues escalados horizontalmente.
  • 06Una imagen Docker del servidor que permite a aplicaciones escritas en cualquier lenguaje usar la caché.

Casos de uso

  • Reducir los costos de las API de OpenAI u otros LLM en un chatbot que recibe muchas preguntas similares de los usuarios.
  • Acelerar las respuestas de una aplicación de LangChain o LlamaIndex reutilizando respuestas anteriores.
  • Probar aplicaciones de LLM localmente sin llamar al modelo en producción en cada ejecución.
  • Compartir una caché semántica entre varias réplicas de servicio con Redis.

Inicio rápido

  1. 1

    Instala el paquete desde PyPI

    pip install gptcache
  2. 2

    Inicializa la caché en tu código de OpenAI existente

Antes de usarlo

  • La API puede cambiar en cualquier momento porque el proyecto está en pleno desarrollo.
  • El proyecto ya no añade compatibilidad con nuevas API o modelos de LLM; el README recomienda usar en su lugar su API get y set.
  • Requiere Python 3.8.1 o superior.

Temas

#llm#semantic-cache#openai#vector-search#embedding#langchain#cost-optimization#aigc#autogpt#babyagi

Preguntas frecuentes

¿Qué es GPTCache?
Una biblioteca de caché semántica para consultas a LLM que guarda respuestas y las reutiliza para preguntas similares, reduciendo los costos de API y la latencia. GPTCache es una biblioteca de Python que almacena en caché las respuestas de las API de modelos de lenguaje grandes. En lugar de limitarse a buscar coincidencias exactas entre prompts, convierte las consultas en embeddings y busca preguntas anteriores semánticamente similares en un almacén vectorial. Si encuentra una coincidencia cercana, devuelve la respuesta guardada. Así reduce las llamadas repetidas a la API, el gasto en tokens y el tiempo de respuesta en aplicaciones que reciben muchas solicitudes similares.
¿GPTCache es gratuito? ¿Qué licencia tiene?
GPTCache es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿GPTCache sigue mantenido?
Actualizado en los últimos 6 meses. El último commit de GPTCache fue el 22 sept 2026.
¿Para qué puedo usar GPTCache?
Reducir los costos de las API de OpenAI u otros LLM en un chatbot que recibe muchas preguntas similares de los usuarios. Acelerar las respuestas de una aplicación de LangChain o LlamaIndex reutilizando respuestas anteriores. Probar aplicaciones de LLM localmente sin llamar al modelo en producción en cada ejecución. Compartir una caché semántica entre varias réplicas de servicio con Redis.
¿Cómo se instala GPTCache?
Instala el paquete desde PyPI: pip install gptcache Inicializa la caché en tu código de OpenAI existente
¿Dónde consigo GPTCache?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/zilliztech/GPTCache

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados