Self-hosted inference server that serves embedding, reranking, OCR, extraction, safety and LLM models from one cluster through an OpenAI-compatible API.
3.4천323PythonApache-2.0업데이트 18분 전
#inference-server
“inference-server” 관련 오픈소스 프로젝트
inference-server 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.