Repolode
제출하기
flitai-io

flitai-io/gpuworks

서로 다른 가속기가 탑재된 서버와 클라우드를 하나의 OpenAI 호환 엔드포인트로 묶는 경량 GPU 관리 및 Model-as-a-Service 플랫폼입니다.

GitHub에서 보기
스타
147
포크
42
열린 이슈
2
마지막 커밋
3시간 전

어떤 프로젝트인가요?

GPUWorks는 다양한 하드웨어에서 LLM과 기타 모델을 실행하는 팀을 위한 GPU 관리 및 Model-as-a-Service(MaaS) 플랫폼입니다. 베어메탈 서버, 클라우드 인스턴스, VM 또는 Mac을 하나의 클러스터에 연결하고 모델을 선택하면, 플랫폼이 필요한 GPU 메모리를 추정해 적합한 GPU를 고른 다음 vLLM이나 SGLang 같은 추론 엔진을 시작하고 단일 OpenAI 호환 엔드포인트로 제공합니다.

컨트롤 플레인은 웹 UI가 내장된 단일 정적 Go 바이너리이며, SQLite 파일에 상태를 저장합니다. 노드 에이전트는 WebSocket을 통해 외부로 연결하므로 GPU 노드에서 인바운드 포트를 열 필요가 없습니다. NVIDIA, AMD, Huawei Ascend, T-Head PPU, Hygon DCU 및 Apple Silicon 노드가 같은 스케줄러를 공유할 수 있으며, 내장 카탈로그에서 널리 쓰이는 여러 모델의 실행 설정을 제공합니다.

모델 서빙 외에도 메모리 할당량을 이용한 GPU 공유, 한 GPU를 번갈아 쓰기 위한 절전 및 깨우기, 멀티 노드 병렬 처리, 프리필/디코드 분리, 메트릭, 로그, 요청 트레이싱, 벤치마킹, MCP 엔드포인트를 지원합니다.

핵심 기능

  • 01NVIDIA, AMD, Ascend, PPU, Hygon 및 Apple Silicon 노드에 모델을 배포해 하나의 클러스터에서 운영합니다.
  • 02GPU 메모리 요구량을 추정하고 각 GPU를 선택하거나 제외한 이유를 설명합니다.
  • 03OpenAI 호환 /v1 API에서 채팅, 임베딩, 리랭크, 오디오 및 이미지 엔드포인트를 제공합니다.
  • 04여러 퍼블릭 클라우드의 인스턴스를 동기화하고 온프레미스 서버와 함께 스케줄링합니다.
  • 05GPU 노드가 인바운드 포트를 열지 않고 WebSocket을 통해 외부로 연결하도록 지원합니다.
  • 06GPU 및 엔진 메트릭, 검색 가능한 로그, 요청 트레이스, 내장 벤치마크를 제공합니다.

활용 사례

  • 대여한 클라우드 GPU와 온프레미스 서버를 섞어 오픈 웨이트 LLM을 실행합니다.
  • 여러 팀에 내부 OpenAI 호환 모델 엔드포인트를 제공하고 API 키별 사용량을 추적합니다.
  • 메모리 할당량을 사용해 GPU 한 대에서 여러 소형 모델을 호스팅합니다.
  • 오프라인 이미지 및 모델 가져오기를 통해 에어갭 환경에서 추론을 운영합니다.

포함된 컬렉션

셀프 호스팅 앱

토픽

#llm-serving#gpu-management#inference#openai-compatible#vllm#kubernetes-alternative#self-hosted#multi-cloud

자주 묻는 질문

gpuworks은(는) 무엇인가요?
서로 다른 가속기가 탑재된 서버와 클라우드를 하나의 OpenAI 호환 엔드포인트로 묶는 경량 GPU 관리 및 Model-as-a-Service 플랫폼입니다. GPUWorks는 다양한 하드웨어에서 LLM과 기타 모델을 실행하는 팀을 위한 GPU 관리 및 Model-as-a-Service(MaaS) 플랫폼입니다. 베어메탈 서버, 클라우드 인스턴스, VM 또는 Mac을 하나의 클러스터에 연결하고 모델을 선택하면, 플랫폼이 필요한 GPU 메모리를 추정해 적합한 GPU를 고른 다음 vLLM이나 SGLang 같은 추론 엔진을 시작하고 단일 OpenAI 호환 엔드포인트로 제공합니다.
gpuworks은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
gpuworks은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
gpuworks은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. gpuworks의 마지막 커밋은 2026년 11월 7일입니다.
gpuworks은(는) 어디에 사용할 수 있나요?
대여한 클라우드 GPU와 온프레미스 서버를 섞어 오픈 웨이트 LLM을 실행합니다. 여러 팀에 내부 OpenAI 호환 모델 엔드포인트를 제공하고 API 키별 사용량을 추적합니다. 메모리 할당량을 사용해 GPU 한 대에서 여러 소형 모델을 호스팅합니다. 오프라인 이미지 및 모델 가져오기를 통해 에어갭 환경에서 추론을 운영합니다.
gpuworks은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/flitai-io/gpuworks

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트