“cpu-inference” 相关开源项目

基于 llama.cpp 的分支，专注 CPU 推理性能，提供更多量化类型，用于本地运行 GGUF 大模型。

开源文本转语音库，KittenTTS 2 可从几秒音频克隆声音，并能在 CPU 上实时合成。

一个仅 0.1B 参数的多语言语音合成模型，可在 CPU 上实时推理，支持声音克隆与 48 kHz 立体声输出。

微软官方推出的 1-bit 大语言模型推理框架，支持 CPU 与 GPU 上的低比特推理。