Фреймворк для запуска моделей разных модальностей, расширяющий vLLM и поддерживающий генерацию текста, изображений, аудио, видео и действий.
7,3 тыс.1,9 тыс.PythonApache-2.0Обновлён 5 часов назад
#model-serving
Open source проекты по теме «model-serving»
Отобранные репозитории GitHub по теме model-serving с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Платформа на базе Kubernetes для масштабируемого развертывания и обслуживания предиктивных и генеративных ИИ-моделей на разных ML-фреймворках.
6,1 тыс.1,7 тыс.GoApache-2.0Обновлён 8 часов назад