Repolode
d8a-tech

d8a-tech/d8a

Pipeline open source de web analytics que recebe dados de tracking do GA4 e Matomo e grava tabelas planas com sessões no BigQuery, ClickHouse ou arquivos CSV/Parquet.

Alternativa open source a:Google AnalyticsMatomo Cloud

Estrelas
62
Forks
4
Issues abertas
16
Último commit
ontem

O que é?

d8a é um pipeline de web analytics nativo de data warehouse. Ele recebe requisições nos protocolos de tracking do GA4 e do Matomo, ou do próprio web tracker, que substitui o gtag.js sem exigir mudanças na integração. As sessões são montadas no backend com um timeout de inatividade configurável, e cada sessão encerrada, junto com seus eventos, é gravada no data warehouse em um único lote.

A saída segue um schema plano e documentado, com colunas específicas para IDs de clique comuns e atribuição de origem e mídia baseada em UTM. Filtros de tráfego baseados em expressões podem excluir tráfego interno ou bots, e os endereços IP podem ser armazenados completos ou mascarados em vários níveis. Os destinos de armazenamento incluem Google BigQuery, ClickHouse e arquivos CSV ou Parquet no S3, MinIO, GCS ou disco local.

O projeto pode ser executado on-premises ou em ambientes isolados de rede, com a flag `--airgapped`, que desativa as integrações externas incluídas. Ele não oferece uma interface de relatórios; cada usuário escolhe sua própria ferramenta de BI. A versão hospedada, d8a.tech Cloud, executa o mesmo pipeline.

Recursos principais

  • 01Aceita os protocolos de tracking do GA4 e do Matomo, além de um web tracker que substitui o gtag.js.
  • 02Monta sessões no backend com regras configuráveis de timeout e divisão.
  • 03Grava tabelas planas com colunas específicas para IDs de clique e atribuição UTM.
  • 04Oferece suporte a BigQuery, ClickHouse e CSV/Parquet no S3, MinIO, GCS ou disco local.
  • 05Oferece filtragem de tráfego baseada em expressões, com modo de teste.
  • 06Pode ser executado em ambiente isolado de rede, com as integrações externas desativadas.

Casos de uso

  • Manter o tracking do GA4 ou do Matomo enquanto os dados brutos organizados por sessão são armazenados no seu próprio data warehouse.
  • Executar web analytics em ambientes de saúde ou do setor público que exigem que os dados permaneçam na própria infraestrutura.
  • Disponibilizar tabelas planas de sessões para SQL e BI às equipes de dados, em vez de exigir que analisem as exportações aninhadas do GA4.
  • Analisar o tráfego da web no ClickHouse ou BigQuery junto com outros dados da empresa.

Início rápido

  1. 1

    Clone o repositório e abra-o localmente

  2. 2

    Inicie o servidor a partir do código-fonte com a configuração de desenvolvimento

    go run main.go server --config config.dev.yaml
  3. 3

    Envie uma solicitação de teste page_view para o endpoint local

    curl "http://localhost:8080/g/collect?v=2&tid=14&dl=https%3A%2F%2Ffoo.bar&en=page_view&cid=ag9" -X POST
  4. 4

    Aguarde cerca de 10 segundos e confira no console se os eventos foram processados

Antes de usar

  • Não inclui uma interface de relatórios; você precisa da sua própria ferramenta de BI ou do painel do Data Studio.
  • O processamento de sessões é executado em um único worker e só permite escalabilidade vertical.
  • O início rápido do README é voltado ao desenvolvimento local; a configuração de produção é indicada em documentação externa.

Em coleções

Tópicos

Perguntas frequentes

O que é d8a?
Pipeline open source de web analytics que recebe dados de tracking do GA4 e Matomo e grava tabelas planas com sessões no BigQuery, ClickHouse ou arquivos CSV/Parquet. d8a é um pipeline de web analytics nativo de data warehouse. Ele recebe requisições nos protocolos de tracking do GA4 e do Matomo, ou do próprio web tracker, que substitui o gtag.js sem exigir mudanças na integração. As sessões são montadas no backend com um timeout de inatividade configurável, e cada sessão encerrada, junto com seus eventos, é gravada no data warehouse em um único lote.
d8a é gratuito? Qual é a licença?
d8a é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
d8a ainda é mantido?
Manutenção ativa. O último commit de d8a foi em 6 de nov. de 2026.
Para que posso usar d8a?
Manter o tracking do GA4 ou do Matomo enquanto os dados brutos organizados por sessão são armazenados no seu próprio data warehouse. Executar web analytics em ambientes de saúde ou do setor público que exigem que os dados permaneçam na própria infraestrutura. Disponibilizar tabelas planas de sessões para SQL e BI às equipes de dados, em vez de exigir que analisem as exportações aninhadas do GA4. Analisar o tráfego da web no ClickHouse ou BigQuery junto com outros dados da empresa.
Como instalar d8a?
Clone o repositório e abra-o localmente Inicie o servidor a partir do código-fonte com a configuração de desenvolvimento: go run main.go server --config config.dev.yaml Envie uma solicitação de teste page_view para o endpoint local: curl "http://localhost:8080/g/collect?v=2&tid=14&dl=https%3A%2F%2Ffoo.bar&en=page_view&cid=ag9" -X POST Aguarde cerca de 10 segundos e confira no console se os eventos foram processados
Onde consigo d8a?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/d8a-tech/d8a

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados

Plataforma open source de dados de eventos e alternativa ao Segment que pode ser hospedada por você, coleta eventos e os encaminha para data warehouses e ferramentas SaaS.

Dados e análise#event-tracking#data-pipeline#data-ingestion
5,1 mil+7 esta semana404TypeScriptMITAtualizado ontem