Biblioteca Python da Microsoft que comprime prompts de LLM e KV cache em até 20x, removendo tokens não essenciais com perda mínima de desempenho.
6,8 mil444PythonMITAtualizado mês passado
#inference-optimization
Projetos open source sobre “inference-optimization”
Repositórios do GitHub selecionados relacionados a inference-optimization, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
1 repositório