SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado hace 6 horas
#serving
Proyectos open source sobre «serving»
Repositorios de GitHub seleccionados relacionados con serving, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
1 repositorio