Repolode
treeverse

treeverse/dvc

Ferramenta de linha de comando e extensão do VS Code para versionar dados e modelos junto com o Git e executar experimentos de ML reproduzíveis.

Estrelas
15,964
Forks
1,343
Issues abertas
225
Último commit
há 20 horas

O que é?

O DVC (Data Version Control) ajuda desenvolvedores a tornar projetos de machine learning reproduzíveis. Arquivos grandes de dados e modelos ficam armazenados em storage remoto na nuvem ou on-premise, enquanto metaf arquivos leves que apontam para eles são commitados no repositório Git, mantendo as versões do código e dos dados sincronizadas.

Com o DVC, você define pipelines em etapas com dependências, comandos e saídas. Quando uma entrada muda, só as etapas afetadas são executadas novamente. Os experimentos são rastreados localmente no Git, sem servidor, e seus parâmetros, métricas e gráficos podem ser comparados, aplicados ou compartilhados para que outras pessoas consigam reproduzi-los.

O storage remoto compatível inclui S3, Azure, Google Cloud, OSS, SSH e Google Drive por meio de dependências opcionais. Uma extensão do VS Code oferece uma GUI para rastreamento de experimentos e gerenciamento de dados; é necessário instalar o pacote principal do DVC separadamente.

Recursos principais

  • 01Versione arquivos grandes de dados e modelos mantendo ponteiros no Git.
  • 02Defina pipelines reproduzíveis que executam novamente apenas as etapas afetadas por mudanças.
  • 03Rastreie, compare e aplique experimentos localmente, sem servidor.
  • 04Envie e baixe dados de S3, Azure, Google Cloud, SSH e outros remotes.
  • 05Use uma extensão do VS Code para rastreamento de experimentos e gerenciamento de dados.

Casos de uso

  • Compartilhar grandes conjuntos de dados com colegas sem commitá-los no Git.
  • Reproduzir o treinamento de modelo de um colega fazendo checkout de um commit e baixando os dados correspondentes.
  • Executar e comparar muitos experimentos de hiperparâmetros em um único repositório Git.
  • Criar pipelines de ML com várias etapas que executam novamente apenas o que mudou.

Início rápido

  1. 1

    Instale o DVC com pip

    pip install dvc
  2. 2

    Rastreie uma pasta de dados com o DVC dentro de um repositório Git

    dvc add images/
  3. 3

    Conecte o código e os dados como uma etapa reproduzível do pipeline

    dvc stage add -n featurize -d images/ -o features/ python featurize.py
  4. 4

    Execute um experimento e compare os resultados

    dvc exp run -n exp-baseline

Antes de usar

  • A instalação de backends opcionais de armazenamento remoto, como S3 ou Azure, requer dependências adicionais.
  • A extensão do VS Code precisa que a ferramenta principal do DVC seja instalada separadamente.

Em coleções

Tópicos

Perguntas frequentes

O que é dvc?
Ferramenta de linha de comando e extensão do VS Code para versionar dados e modelos junto com o Git e executar experimentos de ML reproduzíveis. O DVC (Data Version Control) ajuda desenvolvedores a tornar projetos de machine learning reproduzíveis. Arquivos grandes de dados e modelos ficam armazenados em storage remoto na nuvem ou on-premise, enquanto metaf arquivos leves que apontam para eles são commitados no repositório Git, mantendo as versões do código e dos dados sincronizadas.
dvc é gratuito? Qual é a licença?
dvc é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
dvc ainda é mantido?
Manutenção ativa. O último commit de dvc foi em 6 de nov. de 2026.
Para que posso usar dvc?
Compartilhar grandes conjuntos de dados com colegas sem commitá-los no Git. Reproduzir o treinamento de modelo de um colega fazendo checkout de um commit e baixando os dados correspondentes. Executar e comparar muitos experimentos de hiperparâmetros em um único repositório Git. Criar pipelines de ML com várias etapas que executam novamente apenas o que mudou.
Como instalar dvc?
Instale o DVC com pip: pip install dvc Rastreie uma pasta de dados com o DVC dentro de um repositório Git: dvc add images/ Conecte o código e os dados como uma etapa reproduzível do pipeline: dvc stage add -n featurize -d images/ -o features/ python featurize.py Execute um experimento e compare os resultados: dvc exp run -n exp-baseline
Onde consigo dvc?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/treeverse/dvc

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados