Repolode
m3dev

m3dev/gokart

Framework Python baseado em luigi para criar pipelines de machine learning com cache automático, reprodutibilidade e gerenciamento de dependências.

Estrelas
342
Forks
63
Issues abertas
33
Último commit
há 6 dias

O que é?

Gokart é um framework Python para criar pipelines de machine learning como cadeias de tarefas. Ele encapsula o luigi e prioriza a reprodutibilidade: a saída, os parâmetros, as versões dos módulos importados, a seed aleatória e os logs de cada tarefa são salvos juntos com um hash, e o pipeline é executado novamente automaticamente quando os parâmetros de uma tarefa mudam.

As saídas das tarefas são passadas entre as etapas como arquivos intermediários, em vez de ficarem na memória. O armazenamento pode ser em disco local, S3 ou GCS, e a leitura e gravação de pandas DataFrame inclui verificação de colunas. As seeds de numpy e random são definidas automaticamente, e as tarefas podem ser bloqueadas com Redis durante a execução em paralelo.

O projeto é voltado a jobs em lote de ML e ao desenvolvimento em equipe. Não é um rastreador de experimentos e não oferece visualização de tarefas; os pipelines são escritos em Python, não em arquivos de configuração.

Recursos principais

  • 01Salva a saída, os parâmetros, as versões dos módulos, a seed e os logs de cada tarefa junto com um hash.
  • 02Executa o pipeline novamente automaticamente quando os parâmetros de uma tarefa mudam.
  • 03Armazena resultados intermediários em disco local, S3 ou GCS.
  • 04Verifica os tipos e as colunas de pandas DataFrame durante a leitura e gravação.
  • 05Define automaticamente as seeds de numpy e random.
  • 06Bloqueia tarefas paralelas por meio do Redis.

Casos de uso

  • Criar pipelines reprodutíveis de treinamento e pré-processamento de machine learning.
  • Compartilhar fluxos de trabalho de ML em lote com a equipe, mantendo consistência nas saídas intermediárias.
  • Executar jobs de dados com várias etapas que armazenam grandes resultados intermediários no S3 ou GCS.

Início rápido

  1. 1

    Instale o gokart com pip

    pip install gokart
  2. 2

    Opcionalmente, instale o suporte a S3

    pip install gokart[s3]
  3. 3

    Execute o exemplo mínimo como um script Python

Antes de usar

  • O Redis é necessário para bloquear tarefas durante a execução em paralelo.
  • Segundo o README, o gokart não é uma ferramenta de gerenciamento de experimentos e não oferece suporte à visualização de tarefas.

Tópicos

Perguntas frequentes

O que é gokart?
Framework Python baseado em luigi para criar pipelines de machine learning com cache automático, reprodutibilidade e gerenciamento de dependências. Gokart é um framework Python para criar pipelines de machine learning como cadeias de tarefas. Ele encapsula o luigi e prioriza a reprodutibilidade: a saída, os parâmetros, as versões dos módulos importados, a seed aleatória e os logs de cada tarefa são salvos juntos com um hash, e o pipeline é executado novamente automaticamente quando os parâmetros de uma tarefa mudam.
gokart é gratuito? Qual é a licença?
gokart é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
gokart ainda é mantido?
Manutenção ativa. O último commit de gokart foi em 1 de nov. de 2026.
Para que posso usar gokart?
Criar pipelines reprodutíveis de treinamento e pré-processamento de machine learning. Compartilhar fluxos de trabalho de ML em lote com a equipe, mantendo consistência nas saídas intermediárias. Executar jobs de dados com várias etapas que armazenam grandes resultados intermediários no S3 ou GCS.
Como instalar gokart?
Instale o gokart com pip: pip install gokart Opcionalmente, instale o suporte a S3: pip install gokart[s3] Execute o exemplo mínimo como um script Python
Onde consigo gokart?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/m3dev/gokart

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados