Форк llama.cpp с упором на скорость инференса на CPU, дополнительными типами квантования и функциями для локального запуска LLM в формате GGUF.
3,3 тыс.494C++MITОбновлён 4 часа назад
#cpu-inference
Open source проекты по теме «cpu-inference»
Отобранные репозитории GitHub по теме cpu-inference с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
4 репозитория
Библиотека с открытым исходным кодом для синтеза речи: модель KittenTTS 2 клонирует голос по 5 секундам аудио и работает на CPU в реальном времени.
16,2 тыс.967PythonApache-2.0Обновлён 4 дня назад
Мультиязычная модель синтеза речи с 0,1 млрд параметров, работающая в реальном времени на CPU, с клонированием голоса и стереозвуком 48 кГц.
4,5 тыс.562PythonApache-2.0Обновлён в прошлом месяце
Официальный фреймворк Microsoft для инференса 1-битных (тернарных, 1,58-битных) LLM на CPU и GPU, созданный на базе llama.cpp.
41,2 тыс.3,8 тыс.C++MITОбновлён 3 месяца назад