Proyectos open source sobre «quantization»

Ejecuta el modelo Qwen3.8-Flash-Next de 125B en una PC de consumo con GPU NVIDIA o AMD y ofrece APIs compatibles con OpenAI y Anthropic en localhost.

Un motor de inferencia MoE nativo para edge que ejecuta modelos grandes de pesos abiertos, como DeepSeek-V4 y Qwen3.6, en GPU de consumo al distribuir el trabajo entre la memoria de la GPU y la CPU.

Motor de inferencia LLM mínimo en C11 que ejecuta modelos GGUF de arquitectura LLaMA de clase 1B en placas económicas como Raspberry Pi con unos 45 MB de RAM.