“caching” 관련 오픈소스 프로젝트

서빙 엔진 간에 LLM 어텐션 캐시를 저장하고 공유·재사용해 첫 토큰 생성 시간(TTFT)을 줄이는 KV 캐시 관리 계층입니다.

캐시, 데이터 구조 서버, 문서 저장소, 벡터 데이터베이스, 메시지 브로커로 사용되는 인메모리 데이터 저장소입니다.

로컬, CI, 클라우드에서 컨테이너로 코드베이스를 빌드·테스트·배포하는 프로그래밍 가능한 자동화 엔진입니다.