Biblioteca Python para treinar modelos auxiliares de decodificação especulativa que são implantados diretamente no mecanismo de inferência vLLM.
920+2 esta semana271PythonApache-2.0Atualizado ontem
#draft-model
Repositórios do GitHub selecionados relacionados a draft-model, com resumos de IA e métricas principais.
Biblioteca Python para treinar modelos auxiliares de decodificação especulativa que são implantados diretamente no mecanismo de inferência vLLM.