Projetos open source sobre “cuda”

Biblioteca de comunicação GPU para dispatch e combine de MoE com paralelismo de especialistas, FP8 e suporte a NVLink/RDMA para treinamento e inferência.

Livro open source e coleção de código com anotações sobre CUDA moderno e mais de 200 kernels, cobrindo HGEMM, GEMM em FP8/FP4 e Flash-Attention.

Uma camada de gerenciamento de cache KV que armazena, compartilha e reutiliza caches de atenção de LLMs entre mecanismos de serving para reduzir o time-to-first-token.

Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.

SGLang é um framework open source de inferência para servir modelos de linguagem, visão-linguagem e difusão em diversas plataformas com GPU, TPU e CPU.

Biblioteca e servidor rápidos e eficientes em memória para executar e servir modelos de linguagem grandes com uma API compatível com a OpenAI.

Biblioteca de templates CUDA C++ e DSL em Python para criar kernels GEMM e de álgebra linear relacionados, de alto desempenho, em GPUs NVIDIA.

Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.

Aplicativo gratuito para desktop e uso offline que pontua e explica momentos de destaque em vídeos locais com sinais de cena, movimento, áudio, objetos e transcrição.

Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.

Uma ponte de GPU por IP que permite que máquinas sem GPU usem GPUs CUDA instaladas em servidores remotos pela rede.

Estúdio de voz open source e local-first para clonagem e criação de vozes, dublagem de vídeos, ditado, transcrição e criação de audiolivros em 646 idiomas.

Estúdio de voz com IA, open source e local-first para clonar vozes, gerar fala, ditar em qualquer app e dar voz a agentes de IA.

Uma interface de terminal e central de documentação multiplataforma que automatiza a configuração de Windows, Linux, macOS, WSL2, Google TV com Stremio e Home Assistant.

Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda.

Bindings Python e camada de políticas robóticas sobre o mecanismo de inferência Rust ApxInf, que executa modelos VLA como PI-0.5 em Jetson Thor/Orin e GPUs RTX.

Estúdio desktop para Windows do modelo musical aberto YuE2: gera músicas completas com vocais a partir de um estilo e de uma letra, com partitura ABC editável, usando uma GPU NVIDIA local.

Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.

Curso de ML na prática: framework de deep learning feito do zero com NumPy (módulos de CLI) e mais de 350 questões de programação no navegador, corrigidas pelo Pyodide.

Monitor interativo de terminal para GPUs NVIDIA, com status dos dispositivos e dos processos, seletor de dispositivos via CLI e APIs Python.