Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado hace 16 horas
#attention
Proyectos open source sobre «attention»
Repositorios de GitHub seleccionados relacionados con attention, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,5 mil9,7 milPythonApache-2.0Actualizado hace 11 horas