Фреймворк для распределённого инференса в масштабах дата-центра: координирует работу vLLM, SGLang и TensorRT-LLM на нескольких GPU и узлах.
8,4 тыс.1,8 тыс.RustOtherОбновлён 7 часов назад
#disaggregated-serving
Open source проекты по теме «disaggregated-serving»
Отобранные репозитории GitHub по теме disaggregated-serving с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий