Projetos open source sobre “inference”

Servindo o DeepSeek-V4.1-Flash (552B MoE) em quatro NVIDIA DGX Spark com TensorFold e vLLM, incluindo scripts de inicialização, patches e resultados medidos.

Biblioteca Python de inferência para o Kokoro-82M, um modelo de conversão de texto em fala com pesos abertos e 82 milhões de parâmetros.

Lista selecionada de plataformas, mecanismos de inferência, interfaces, modelos, ferramentas e tutoriais para executar LLMs no próprio hardware.

Biblioteca Python que detecta corrupções na decodificação de LLMs, como loops de repetição e mudança de idioma no meio da geração, para cortar tokens problemáticos antes que cheguem aos usuários.

Um mecanismo minimalista de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe de 1B em placas de baixo custo, como Raspberry Pi, usando cerca de 45 MB de RAM.

Uma lista selecionada no estilo Awesome de plataformas, ferramentas, modelos e tutoriais para executar LLMs localmente.

Mecanismo de inferência open source que ajusta os kernels ao seu hardware para executar cada modelo aberto o mais rápido possível.

Curso de ML na prática: um framework de deep learning em NumPy, feito do zero (CLI), e mais de 350 exercícios de programação no navegador.