Un motor de serving nativo para el edge que ejecuta grandes modelos de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU y CPU de consumo.
14,6 mil1,5 milPythonApache-2.0Actualizado hace 7 horas
#llm-serving
Proyectos open source sobre «llm-serving»
Repositorios de GitHub seleccionados relacionados con llm-serving, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
1 repositorio