Apple Silicon에서 LLM, VLM 및 이미지 생성 모델을 위한 OpenAI·Anthropic·Ollama 호환 API를 제공하는 셀프 호스팅 MLX 추론 서버입니다.
89997PythonApache-2.0업데이트 어제
#kvcache-compression
“kvcache-compression” 관련 오픈소스 프로젝트
kvcache-compression 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#kvcache-compression
kvcache-compression 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
Apple Silicon에서 LLM, VLM 및 이미지 생성 모델을 위한 OpenAI·Anthropic·Ollama 호환 API를 제공하는 셀프 호스팅 MLX 추론 서버입니다.