Repolode
d8a-tech

d8a-tech/d8a

GA4 및 Matomo 추적 데이터를 받아 세션 단위로 정리한 플랫 테이블을 BigQuery, ClickHouse 또는 CSV/Parquet 파일에 저장하는 오픈소스 웹 분석 파이프라인입니다.

대체할 수 있는 제품:Google AnalyticsMatomo Cloud

스타
62
포크
4
열린 이슈
16
마지막 커밋
7시간 전

어떤 프로젝트인가요?

d8a는 웨어하우스 네이티브 웹 분석 파이프라인입니다. GA4 및 Matomo 추적 프로토콜이나 gtag.js를 대체하는 드롭인 방식의 자체 웹 트래커에서 요청을 받습니다. 세션은 설정 가능한 비활성 시간 제한을 적용해 백엔드에서 구성하며, 종료된 세션과 해당 이벤트는 한 번의 배치로 웨어하우스에 기록됩니다.

출력은 문서화된 플랫 스키마로, 일반적인 클릭 ID와 UTM 기반 소스 및 미디엄 어트리뷰션을 위한 전용 컬럼을 제공합니다. 표현식 기반 트래픽 필터로 내부 트래픽이나 봇을 제외할 수 있으며, IP 주소는 전체를 저장하거나 여러 단계로 마스킹할 수 있습니다. 저장 대상은 Google BigQuery, ClickHouse, S3·MinIO·GCS 또는 로컬 디스크의 CSV나 Parquet 파일입니다.

이 프로젝트는 온프레미스 또는 에어갭 환경에서 실행할 수 있으며, `--airgapped` 플래그를 사용하면 내장된 아웃바운드 연동 기능이 비활성화됩니다. 리포팅 UI는 포함하지 않으므로 사용자가 직접 BI 도구를 준비해야 합니다. 호스팅 버전인 d8a.tech Cloud도 동일한 파이프라인을 실행합니다.

핵심 기능

  • 01GA4 및 Matomo 추적 프로토콜과 gtag.js를 대체하는 웹 트래커를 지원합니다.
  • 02설정 가능한 시간 제한과 세션 분리 규칙에 따라 백엔드에서 세션을 구성합니다.
  • 03클릭 ID와 UTM 어트리뷰션 전용 컬럼이 포함된 플랫 테이블을 기록합니다.
  • 04BigQuery, ClickHouse, S3·MinIO·GCS 또는 로컬 디스크의 CSV/Parquet를 지원합니다.
  • 05테스트 모드를 지원하는 표현식 기반 트래픽 필터링을 제공합니다.
  • 06아웃바운드 연동 기능을 비활성화한 에어갭 환경에서도 실행할 수 있습니다.

활용 사례

  • GA4 또는 Matomo 추적은 유지하면서 원시 데이터를 세션 단위로 정리해 자체 웨어하우스에 저장합니다.
  • 데이터를 자체 인프라에 보관해야 하는 의료 또는 공공 부문 환경에서 웹 분석을 운영합니다.
  • GA4의 중첩된 내보내기 데이터를 파싱하는 대신 데이터 팀에 SQL 및 BI용 플랫 세션 테이블을 제공합니다.
  • ClickHouse 또는 BigQuery에서 웹 트래픽을 다른 회사 데이터와 함께 분석합니다.

빠른 시작

  1. 1

    저장소를 클론한 뒤 로컬에서 엽니다

  2. 2

    dev config로 소스에서 서버를 시작합니다

    go run main.go server --config config.dev.yaml
  3. 3

    로컬 엔드포인트로 테스트용 page_view 요청을 보냅니다

    curl "http://localhost:8080/g/collect?v=2&tid=14&dl=https%3A%2F%2Ffoo.bar&en=page_view&cid=ag9" -X POST
  4. 4

    약 10초 기다린 뒤 처리된 이벤트가 콘솔에 출력되는지 확인합니다

사용 전 알아둘 점

  • 보고 UI는 포함되어 있지 않습니다. 자체 BI 도구나 Data Studio 대시보드가 필요합니다.
  • 세션 처리는 단일 worker에서 실행되며 수직 확장만 가능합니다.
  • README의 빠른 시작은 로컬 개발용입니다. 프로덕션 설정은 외부 문서를 참조합니다.

포함된 컬렉션

토픽

자주 묻는 질문

d8a은(는) 무엇인가요?
GA4 및 Matomo 추적 데이터를 받아 세션 단위로 정리한 플랫 테이블을 BigQuery, ClickHouse 또는 CSV/Parquet 파일에 저장하는 오픈소스 웹 분석 파이프라인입니다. d8a는 웨어하우스 네이티브 웹 분석 파이프라인입니다. GA4 및 Matomo 추적 프로토콜이나 gtag.js를 대체하는 드롭인 방식의 자체 웹 트래커에서 요청을 받습니다. 세션은 설정 가능한 비활성 시간 제한을 적용해 백엔드에서 구성하며, 종료된 세션과 해당 이벤트는 한 번의 배치로 웨어하우스에 기록됩니다.
d8a은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
d8a은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
d8a은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. d8a의 마지막 커밋은 2026년 11월 6일입니다.
d8a은(는) 어디에 사용할 수 있나요?
GA4 또는 Matomo 추적은 유지하면서 원시 데이터를 세션 단위로 정리해 자체 웨어하우스에 저장합니다. 데이터를 자체 인프라에 보관해야 하는 의료 또는 공공 부문 환경에서 웹 분석을 운영합니다. GA4의 중첩된 내보내기 데이터를 파싱하는 대신 데이터 팀에 SQL 및 BI용 플랫 세션 테이블을 제공합니다. ClickHouse 또는 BigQuery에서 웹 트래픽을 다른 회사 데이터와 함께 분석합니다.
d8a는 어떻게 설치하나요?
저장소를 클론한 뒤 로컬에서 엽니다 dev config로 소스에서 서버를 시작합니다: go run main.go server --config config.dev.yaml 로컬 엔드포인트로 테스트용 page_view 요청을 보냅니다: curl "http://localhost:8080/g/collect?v=2&tid=14&dl=https%3A%2F%2Ffoo.bar&en=page_view&cid=ag9" -X POST 약 10초 기다린 뒤 처리된 이벤트가 콘솔에 출력되는지 확인합니다
d8a은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/d8a-tech/d8a

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트

이벤트 데이터를 수집해 데이터 웨어하우스와 SaaS 도구로 전달하는 오픈소스 이벤트 데이터 플랫폼이자 자체 호스팅 가능한 Segment 대안입니다.

데이터·분석#event-tracking#data-pipeline#data-ingestion
5.1천+7 이번 주405TypeScriptMIT업데이트 14시간 전