SGLang — открытый фреймворк для инференса больших языковых и мультимодальных моделей, а также diffusion-моделей на GPU, TPU и CPU разных платформ.
37,5 тыс.9,7 тыс.PythonApache-2.0Обновлён 6 часов назад
#serving
Open source проекты по теме «serving»
Отобранные репозитории GitHub по теме serving с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий