Projetos open source sobre “cpu-inference”

Fork do llama.cpp focado em acelerar a inferência em CPU, com tipos extras de quantização e recursos para executar LLMs GGUF localmente.

Biblioteca open source de text-to-speech cujo modelo KittenTTS 2 clona vozes com 5 segundos de áudio e funciona em tempo real na CPU.

Modelo multilíngue de conversão de texto em fala com 0,1 bilhão de parâmetros, que funciona em tempo real na CPU, clona vozes e gera áudio estéreo a 48 kHz.

Framework oficial da Microsoft para inferência em CPU/GPU de LLMs de 1 bit (ternários, 1,58 bit), baseado no llama.cpp.