SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado hace 7 horas
#blackwell
Proyectos open source sobre «blackwell»
Repositorios de GitHub seleccionados relacionados con blackwell, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 7 horas