Repolode
Enviar
facebookincubator

facebookincubator/dynolog

Daemon leve de telemetria que exporta métricas de Linux, CPU, GPU e treinamento com PyTorch e dispara traces sob demanda.

Ver no GitHub
Estrelas
388
Forks
94
Issues abertas
33
Último commit
há 22 horas

O que é?

O Dynolog é um daemon de monitoramento para sistemas heterogêneos com CPU e GPU, projetado tanto para monitoramento contínuo de desempenho quanto para profiling detalhado. Os modos de profiling são ativados por uma chamada de procedimento remoto ao daemon, e uma única ferramenta de linha de comando, `dyno`, se comunica com ele em um host local ou remoto.

Ele coleta métricas do kernel que abrangem uso de CPU, rede e IO; contadores PMU de hardware via Linux perf_event em CPUs Intel e AMD; e métricas de GPU NVIDIA por meio do DCGM. As métricas podem ser gravadas na saída padrão, em endpoints OTLP ou nos sistemas internos ODS e Scuba da Meta, por meio de uma classe Logger conectável.

Para workloads com PyTorch, o dynolog se integra ao PyTorch Profiler (v1.13.0 e posteriores) para que traces possam ser disparados sob demanda em muitas GPUs, incluindo tracing coordenado em jobs de treinamento distribuído gerenciados pelo Slurm. O projeto é voltado apenas para Linux e oferece pacotes RPM e Debian, além de compilações a partir do código-fonte.

Recursos principais

  • 01Coleta contínua de métricas do kernel, da CPU e de PMU no Linux.
  • 02Traces do PyTorch Profiler disparados remotamente sob demanda pela CLI dyno.
  • 03Monitoramento de GPUs NVIDIA por meio do DCGM 2.x e 3.x.
  • 04Exportação de métricas OTLP para backends compatíveis com OpenTelemetry.
  • 05Logger conectável para ODS, Scuba, OTLP ou stdout.

Casos de uso

  • Investigar iterações lentas em jobs de treinamento distribuído de PyTorch em grande escala, executados em muitas GPUs.
  • Monitorar a integridade da CPU, da rede e do IO em servidores Linux de produção.
  • Coletar métricas de GPU de hosts NVIDIA de data center e enviá-las para uma stack de observabilidade existente.

Início rápido

  1. 1

    Baixe o pacote da versão para sua distribuição na página de versões

  2. 2

    Instale o pacote Debian no Ubuntu ou Debian

    sudo dpkg -i dynolog_0.2.1-0-amd64.deb
  3. 3

    Inicie o serviço dynolog com o systemd

    sudo systemctl start dynolog
  4. 4

    Verifique se o daemon está em execução usando a CLI dyno

    dyno status

Antes de usar

  • Compatível apenas com Linux; plataformas que não sejam Linux não são suportadas.
  • O monitoramento de GPU funciona apenas com GPUs NVIDIA e requer a instalação separada do DCGM.
  • A coleta de rastros de GPU requer o PyTorch v1.13.0 ou uma versão compatível.

Em coleções

Treine e execute IA em GPUsPlataformas de OpenTelemetry e observabilidade

Tópicos

#performance-monitoring#profiling#gpu#pytorch#observability#linux#telemetry

Perguntas frequentes

O que é dynolog?
Daemon leve de telemetria que exporta métricas de Linux, CPU, GPU e treinamento com PyTorch e dispara traces sob demanda. O Dynolog é um daemon de monitoramento para sistemas heterogêneos com CPU e GPU, projetado tanto para monitoramento contínuo de desempenho quanto para profiling detalhado. Os modos de profiling são ativados por uma chamada de procedimento remoto ao daemon, e uma única ferramenta de linha de comando, `dyno`, se comunica com ele em um host local ou remoto.
dynolog é gratuito? Qual é a licença?
dynolog é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
dynolog ainda é mantido?
Manutenção ativa. O último commit de dynolog foi em 7 de nov. de 2026.
Para que posso usar dynolog?
Investigar iterações lentas em jobs de treinamento distribuído de PyTorch em grande escala, executados em muitas GPUs. Monitorar a integridade da CPU, da rede e do IO em servidores Linux de produção. Coletar métricas de GPU de hosts NVIDIA de data center e enviá-las para uma stack de observabilidade existente.
Como instalar dynolog?
Baixe o pacote da versão para sua distribuição na página de versões Instale o pacote Debian no Ubuntu ou Debian: sudo dpkg -i dynolog_0.2.1-0-amd64.deb Inicie o serviço dynolog com o systemd: sudo systemctl start dynolog Verifique se o daemon está em execução usando a CLI dyno: dyno status
Onde consigo dynolog?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/facebookincubator/dynolog

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados