Projetos open source sobre “quantization”

Servindo o DeepSeek-V4.1-Flash (552B MoE) em quatro NVIDIA DGX Spark com TensorFold e vLLM, incluindo scripts de inicialização, patches e resultados medidos.

Executa o modelo Qwen3.8-Flash-Next de 125 bilhões de parâmetros em um PC doméstico com GPU NVIDIA ou AMD e disponibiliza APIs compatíveis com OpenAI e Anthropic no localhost.

Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.

Um mecanismo minimalista de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe de 1B em placas de baixo custo, como Raspberry Pi, usando cerca de 45 MB de RAM.