“cpu-inference” 관련 오픈소스 프로젝트

CPU 추론 속도에 초점을 둔 llama.cpp 포크로, 로컬에서 GGUF LLM을 실행하기 위한 추가 양자화 형식과 기능을 제공합니다.

5초 분량의 오디오로 목소리를 복제하고 CPU에서 실시간으로 실행되는 KittenTTS 2 모델을 사용하는 오픈 소스 TTS 라이브러리입니다.

CPU에서 실시간으로 실행되는 0.1B 파라미터 다국어 TTS 모델로, 음성 복제와 48 kHz 스테레오 출력을 지원합니다.

llama.cpp 기반의 1-bit(ternary, 1.58-bit) 대규모 언어 모델용 Microsoft 공식 CPU/GPU 추론 프레임워크입니다.