An edge-native MoE serving engine that runs large open-weight models like DeepSeek-V4 and Qwen3.6 on consumer GPUs and CPUs.
14,6 тыс.1,5 тыс.PythonApache-2.0Обновлён 3 часа назад
#llm-serving
Open source проекты по теме «llm-serving»
Отобранные репозитории GitHub по теме llm-serving с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
1 репозиторий