Implementação oficial do FlashAttention, um kernel de atenção exata e eficiente em memória para treinar e executar inferência de modelos Transformer em GPUs.
25,2 mil+15 esta semana3,2 milPythonBSD-3-ClauseAtualizado há 5 horas
duoan/TorchCode
Plataforma interativa para praticar a implementação de operadores e arquiteturas PyTorch do zero, com avaliação automática no Jupyter.
Alternativa open source a:LeetCode
- Estrelas
- 4,695
- Forks
- 420
- Issues abertas
- 16
- Último commit
- há 3 meses
O que é?
TorchCode reúne 41 desafios de programação para praticar PyTorch do zero, em um formato semelhante ao LeetCode. Cada desafio pede que você implemente uma operação comum ou um componente de modelo, como softmax, LayerNorm, multi-head attention, RoPE, LoRA ou um bloco GPT-2, geralmente sem usar torch.nn. Os desafios são apresentados em notebooks Jupyter com um template em branco e uma solução de referência separada.
Um módulo avaliador (torch_judge) executa sua implementação com casos de teste. Ele verifica a correção numérica com torch.allclose, confere o fluxo de gradientes pelo autograd e testa a consistência das dimensões e os casos extremos; em seguida, informa se cada teste passou ou falhou. Há dicas e um painel de progresso acessíveis pelas células do notebook, e um botão na barra de ferramentas restaura o notebook ao estado em branco.
A plataforma funciona em um único container Docker ou Podman, usando CPU, sem exigir GPU nem banco de dados. Também pode ser aberta no Hugging Face Spaces ou no Google Colab, onde o avaliador pode ser instalado pelo PyPI. Como interface alternativa, há uma aplicação web separada feita com Next.js e FastAPI.
Recursos principais
- 0141 desafios que abrangem fundamentos, variantes de attention, blocos transformer, treinamento, decoding e funções de perda baseadas em preferências.
- 02O avaliador automático verifica a correção das saídas, o fluxo de gradientes, as dimensões e os casos extremos, com feedback de aprovação ou reprovação para cada teste.
- 03Há dicas e soluções de referência para cada desafio.
- 04A opção de redefinição na barra de ferramentas restaura o notebook ao template em branco, permitindo praticar novamente.
- 05Funciona em CPU dentro de um único container Docker ou Podman, ou no Google Colab sem configuração local.
Casos de uso
- Preparar-se para entrevistas de engenharia de ML em que os candidatos precisam escrever operações PyTorch no quadro ou durante uma sessão de programação.
- Aprender como softmax, attention, normalização ou LoRA funcionam implementando esses recursos sem helpers de alto nível.
- Praticar operações com tensores do PyTorch e autograd em um laptop sem GPU.
- Realizar exercícios guiados em uma sala de aula ou grupo de estudos usando links do Colab.
Início rápido
- 1
Baixe e execute a imagem Docker pré-compilada
docker run -p 8888:8888 -e PORT=8888 ghcr.io/duoan/torchcode:latest - 2
Abra o app no navegador
Antes de usar
- Requer Docker ou Podman, ou uma compilação local com make.
- Judge é executado no Jupyter e foi projetado principalmente para praticar PyTorch, não para uso geral.
- Os metadados do projeto não especificam uma licença.
Tópicos
Perguntas frequentes
- O que é TorchCode?
- Plataforma interativa para praticar a implementação de operadores e arquiteturas PyTorch do zero, com avaliação automática no Jupyter. TorchCode reúne 41 desafios de programação para praticar PyTorch do zero, em um formato semelhante ao LeetCode. Cada desafio pede que você implemente uma operação comum ou um componente de modelo, como softmax, LayerNorm, multi-head attention, RoPE, LoRA ou um bloco GPT-2, geralmente sem usar torch.nn. Os desafios são apresentados em notebooks Jupyter com um template em branco e uma solução de referência separada.
- TorchCode é gratuito? Qual é a licença?
- TorchCode não declara licença. O código é público, mas sem licença você não tem permissão explícita para reutilizá-lo; fale com o autor antes de depender dele.
- TorchCode ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de TorchCode foi em 31 de jul. de 2026.
- Para que posso usar TorchCode?
- Preparar-se para entrevistas de engenharia de ML em que os candidatos precisam escrever operações PyTorch no quadro ou durante uma sessão de programação. Aprender como softmax, attention, normalização ou LoRA funcionam implementando esses recursos sem helpers de alto nível. Praticar operações com tensores do PyTorch e autograd em um laptop sem GPU. Realizar exercícios guiados em uma sala de aula ou grupo de estudos usando links do Colab.
- Como instalar TorchCode?
- Baixe e execute a imagem Docker pré-compilada: docker run -p 8888:8888 -e PORT=8888 ghcr.io/duoan/torchcode:latest Abra o app no navegador
- Onde consigo TorchCode?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/duoan/TorchCode
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Um guia de estudos de LeetCode em chinês, com ordem de problemas selecionada, soluções ilustradas, explicações em vídeo e código em C++, Java, Python, Go e JavaScript.
62,7 mil12,3 milShellSem licençaAtualizado há 17 horas
Tradução para o chinês do livro "Build a Large Language Model (From Scratch)", que aborda os princípios de LLMs e a implementação de um modelo no estilo GPT.
4,1 mil+5 esta semana685HTMLOtherAtualizado há 3 meses
Soluções em Go para problemas do LeetCode, com um e-book complementar, o Cookbook, sobre estruturas de dados e algoritmos para se preparar para entrevistas.
33,8 mil5,7 milGoMITAtualizado há 12 dias
Guia de estudos que agrupa questões de entrevistas do LeetCode por padrões reutilizáveis de resolução, com um app web para navegar e acompanhar o progresso.
14,3 mil2,3 milTypeScriptOtherAtualizado há 3 dias
Coleção de anotações e soluções de DSA, programação competitiva e fundamentos de computação em Jupyter Notebook, voltada à preparação para entrevistas no estilo FAANG.
12,3 mil2,6 milJupyter NotebookMITAtualizado há 12 dias