Proyectos open source sobre «cpu-inference»

Un fork de llama.cpp centrado en acelerar la inferencia en CPU, con más tipos de cuantización y funciones para ejecutar LLMs GGUF localmente.

Biblioteca de texto a voz de código abierto cuyo modelo KittenTTS 2 clona voces a partir de 5 segundos de audio y funciona en tiempo real en CPU.

Modelo multilingüe de texto a voz con 0,1B de parámetros, ejecución en tiempo real en CPU, clonación de voz y salida estéreo a 48 kHz.

Framework oficial de inferencia para CPU y GPU de Microsoft, destinado a modelos de lenguaje grandes de 1 bit (ternarios, de 1,58 bits) y basado en llama.cpp.