zilliztech/GPTCache

Что это?

Ключевые возможности

• 01Семантическое сопоставление запросов с помощью эмбеддингов и векторного поиска, а не только точное совпадение строк.
• 02Подключаемые адаптеры LLM, в том числе интеграция с OpenAI ChatCompletion и LangChain.
• 03Несколько вариантов хранилища, включая SQLite, PostgreSQL, MySQL и DynamoDB.
• 04Поддержка векторных хранилищ, в том числе Milvus, FAISS, Chroma, Qdrant и Weaviate.
• 05Распределённое кэширование через Redis или memcached для горизонтально масштабируемых развёртываний.
• 06Docker-образ сервера, позволяющий приложениям на любом языке использовать кэш.

Сценарии использования

• Сокращение расходов на API OpenAI и других LLM в чат-ботах, получающих много похожих вопросов от пользователей.
• Ускорение ответов в приложениях на LangChain или LlamaIndex за счёт повторного использования предыдущих ответов.
• Локальное тестирование приложений с LLM без обращения к работающей модели при каждом запуске.
• Совместное использование семантического кэша несколькими репликами сервиса через Redis.

Быстрый старт

1. 1

   Установите пакет из PyPI

   pip install gptcache
2. 2

   Инициализируйте кэш в существующем коде OpenAI

Что важно знать

• !API может измениться в любой момент, поскольку проект быстро развивается.
• !Проект больше не добавляет поддержку новых API LLM или моделей; в README вместо этого рекомендуется использовать API get и set.
• !Требуется Python 3.8.1 или выше.

Темы

Частые вопросы

Что такое GPTCache?

Библиотека семантического кэширования запросов к LLM: сохраняет ответы и повторно использует их для похожих вопросов, сокращая расходы на API и задержки. GPTCache — это библиотека Python для кэширования ответов API больших языковых моделей. Вместо поиска только по точному совпадению промптов она преобразует запросы в эмбеддинги и ищет семантически похожие вопросы в векторном хранилище. Если найден близкий запрос, библиотека возвращает сохранённый ответ. Это сокращает количество повторных вызовов API, расход токенов и время ответа в приложениях, получающих много похожих запросов.

GPTCache можно использовать бесплатно? Какая у него лицензия?

GPTCache распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

GPTCache всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в GPTCache — 22 сент. 2026 г..

Для чего можно использовать GPTCache?

Сокращение расходов на API OpenAI и других LLM в чат-ботах, получающих много похожих вопросов от пользователей. Ускорение ответов в приложениях на LangChain или LlamaIndex за счёт повторного использования предыдущих ответов. Локальное тестирование приложений с LLM без обращения к работающей модели при каждом запуске. Совместное использование семантического кэша несколькими репликами сервиса через Redis.

Как установить GPTCache?

Установите пакет из PyPI: pip install gptcache Инициализируйте кэш в существующем коде OpenAI

Где скачать GPTCache?

Исходный код и инструкции по установке — на GitHub: https://github.com/zilliztech/GPTCache