Servidor de inferência de LLM em C++ para GPUs de consumo e máquinas com AMD e NVIDIA, usando speculative decoding, speculative prefill e kernels personalizados.
3 mil+3 esta semana286C++Apache-2.0Atualizado há 18 horas
#dflash
Projetos open source sobre “dflash”
Repositórios do GitHub selecionados relacionados a dflash, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório