Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost.
27,4 тыс.2,9 тыс.C++MITОбновлён позавчера
#local-inference
Отобранные репозитории GitHub по теме local-inference с описаниями от ИИ и ключевыми метриками.
Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost.
Графический интерфейс на основе узлов, API и бэкенд для локального запуска diffusion-моделей, генерирующих изображения, видео, аудио и 3D-контент.
Поддерживаемый сообществом каталог бесплатных AI-моделей, API и инструментов: от бесплатных тарифов и моделей с открытыми весами до локального инференса.
Сверхлёгкая локальная модель синтеза речи с архитектурой на 80 млн параметров, потоковой генерацией аудио 32 кГц и поддержкой CPU, CUDA и MPS.