「cpu-inference」に関するオープンソースプロジェクト

CPU推論の高速化に重点を置いたllama.cppのフォーク。追加の量子化方式や、GGUF LLMをローカルで実行する機能を備えています。

KittenTTS 2で5秒の音声から声を複製し、CPU上でリアルタイムに動作するオープンソースの音声合成ライブラリ。

CPUでリアルタイム動作する0.1Bパラメータの多言語音声合成モデル。ボイスクローニングに対応し、48 kHzステレオ音声を出力します。

llama.cppをベースにした、1-bit（ternary、1.58-bit）LLM向けMicrosoft公式のCPU/GPU推論フレームワーク。