SGLang — открытый фреймворк для инференса больших языковых и мультимодальных моделей, а также diffusion-моделей на GPU, TPU и CPU разных платформ.
37,5 тыс.9,7 тыс.PythonApache-2.0Обновлён 13 часов назад
#blackwell
Open source проекты по теме «blackwell»
Отобранные репозитории GitHub по теме blackwell с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
94,2 тыс.23,6 тыс.PythonApache-2.0Обновлён 13 часов назад