Менеджер GPU-кластеров с открытым исходным кодом: развёртывает AI-модели с помощью vLLM, SGLang и TensorRT-LLM и предоставляет GPU-инстансы с доступом по SSH по запросу.
6 тыс.+52 за неделю724PythonApache-2.0Обновлён вчера
flitai-io/gpuworks
Лёгкая платформа для управления GPU и предоставления моделей как сервиса: объединяет серверы и облака с разными ускорителями за одним OpenAI-совместимым эндпоинтом.
- Звёзды
- 141
- Форки
- 41
- Открытые issues
- 2
- Последний коммит
- 19 часов назад
Что это?
GPUWorks — платформа для управления GPU и предоставления моделей как сервиса (MaaS), рассчитанная на команды, которые запускают LLM и другие модели на разном оборудовании. Объедините в один кластер физические серверы, облачные инстансы, виртуальные машины или Mac, выберите модель — платформа оценит необходимый объём видеопамяти, подберёт подходящие GPU, запустит движок инференса, например vLLM или SGLang, и предоставит доступ через единый OpenAI-совместимый эндпоинт.
Плоскость управления — это один статический бинарный файл на Go со встроенным веб-интерфейсом; состояние хранится в файле SQLite. Агенты узлов сами устанавливают соединение по WebSocket, поэтому для GPU-узлов не нужны входящие порты. Узлы с NVIDIA, AMD, Huawei Ascend, T-Head PPU, Hygon DCU и Apple Silicon могут работать с одним планировщиком, а встроенный каталог содержит настройки запуска для многих популярных моделей.
Помимо обслуживания моделей, проект поддерживает совместное использование GPU с квотами памяти, перевод в спящий режим и пробуждение для поочерёдной работы на одной карте, параллелизм на нескольких узлах, разделение prefill и decode, метрики, логи, трассировку запросов, бенчмаркинг и эндпоинт MCP.
Ключевые возможности
- 01Развёртывает модели на узлах с NVIDIA, AMD, Ascend, PPU, Hygon и Apple Silicon в рамках одного кластера.
- 02Оценивает потребность в видеопамяти и объясняет, почему каждый GPU был выбран или отклонён.
- 03Предоставляет эндпоинты для чата, эмбеддингов, rerank, аудио и изображений через OpenAI-совместимый API /v1.
- 04Синхронизирует инстансы из нескольких публичных облаков и планирует их работу вместе с локальными серверами.
- 05Позволяет GPU-узлам подключаться по исходящему соединению WebSocket без открытия входящих портов.
- 06Предоставляет метрики GPU и движков, логи с поиском, трассировку запросов и встроенный бенчмарк.
Сценарии использования
- Запуск открытых LLM на сочетании арендованных облачных GPU и локальных серверов.
- Предоставление нескольким командам внутреннего OpenAI-совместимого эндпоинта моделей с учётом использования по ключам.
- Размещение нескольких небольших моделей на одном GPU с квотами памяти.
- Работа инференса в изолированных от сети средах с офлайн-импортом образов и моделей.
В подборках
Темы
#llm-serving#gpu-management#inference#openai-compatible#vllm#kubernetes-alternative#self-hosted#multi-cloud
Частые вопросы
- Что такое gpuworks?
- Лёгкая платформа для управления GPU и предоставления моделей как сервиса: объединяет серверы и облака с разными ускорителями за одним OpenAI-совместимым эндпоинтом. GPUWorks — платформа для управления GPU и предоставления моделей как сервиса (MaaS), рассчитанная на команды, которые запускают LLM и другие модели на разном оборудовании. Объедините в один кластер физические серверы, облачные инстансы, виртуальные машины или Mac, выберите модель — платформа оценит необходимый объём видеопамяти, подберёт подходящие GPU, запустит движок инференса, например vLLM или SGLang, и предоставит доступ через единый OpenAI-совместимый эндпоинт.
- gpuworks можно использовать бесплатно? Какая у него лицензия?
- gpuworks распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- gpuworks всё ещё поддерживается?
- Активно поддерживается. Последний коммит в gpuworks — 6 нояб. 2026 г..
- Для чего можно использовать gpuworks?
- Запуск открытых LLM на сочетании арендованных облачных GPU и локальных серверов. Предоставление нескольким командам внутреннего OpenAI-совместимого эндпоинта моделей с учётом использования по ключам. Размещение нескольких небольших моделей на одном GPU с квотами памяти. Работа инференса в изолированных от сети средах с офлайн-импортом образов и моделей.
- Где скачать gpuworks?
- Исходный код и инструкции по установке — на GitHub: https://github.com/flitai-io/gpuworks
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Запускает open-source LLM, например Llama и Qwen, как совместимые с OpenAI API-эндпоинты одной командой; включает встроенный чат-интерфейс.
12,6 тыс.+7 за неделю849PythonApache-2.0Обновлён 5 дней назад
Шаблон worker для Runpod Serverless, разворачивающий совместимые с OpenAI LLM-эндпоинты на движке инференса vLLM.
474394PythonMITАктивно поддерживаетсяОбновлён позавчера
Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
96,5 тыс.+549 за неделю24,5 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 18 часов назад
Нативный для edge-устройств движок для инференса MoE-моделей с открытыми весами, например DeepSeek-V4 и Qwen3.6, на потребительских GPU и CPU.
16,8 тыс.+1,9 тыс. за неделю1,6 тыс.PythonApache-2.0Обновлён вчера
Высокопроизводительный движок инференса LLM от Alibaba, который используют разные бизнес-подразделения компании для обслуживания больших языковых моделей.
1,4 тыс.+7 за неделю299PythonApache-2.0Обновлён 18 часов назад