Open source проекты по теме «quantization»

Запускает модель Qwen3.8-Flash-Next с 125 млрд параметров на потребительском ПК с GPU NVIDIA или AMD и предоставляет совместимые с OpenAI и Anthropic API на localhost.

Edge-native движок для MoE-моделей, который запускает большие модели с открытыми весами, такие как DeepSeek-V4 и Qwen3.6, на потребительских GPU, распределяя нагрузку между GPU и памятью CPU.

Минималистичный движок инференса LLM на C11, запускающий GGUF-модели архитектуры LLaMA класса 1B на недорогих платах вроде Raspberry Pi, используя около 45 МБ RAM.