“llm-ops” 관련 오픈소스 프로젝트

GPU 스케줄링과 모델 수명 주기 관리를 지원하며 SGLang, vLLM, TensorRT-LLM, Triton 서빙을 배포하고 관리하는 Kubernetes 오퍼레이터입니다.

회사 전반의 LLM 호출, 에이전트, 코딩 어시스턴트를 추적·테스트·라우팅·관리하는 오픈소스 플랫폼입니다.