Repolode
d8a-tech

d8a-tech/d8a

开源网页分析管道,兼容 GA4 与 Matomo 埋点协议,将会话化的扁平数据写入 BigQuery、ClickHouse 或 CSV/Parquet 文件。

可替代:Google AnalyticsMatomo Cloud

Star
62
Fork
4
未关闭 Issue
16
最近提交
24小时前

这是什么?

d8a 是一个以数据仓库为核心的网页分析管道。它接收 GA4 和 Matomo 埋点协议的请求,也支持自带的网页埋点脚本,该脚本可直接替代 gtag.js。会话在后端构建,超时时间可配置,每个会话关闭后会将其全部事件一次性写入数据仓库。

输出为扁平且有文档说明的表结构,常见点击 ID 有独立字段,并根据 UTM 参数和来源推导流量来源与媒介。基于表达式的流量过滤器可排除内部访问或机器人,IP 地址可完整保存或按多个级别脱敏。存储目标包括 Google BigQuery、ClickHouse,以及 S3、MinIO、GCS 或本地磁盘上的 CSV 或 Parquet 文件。

项目可部署在本地机房或离线环境中,`--airgapped` 参数可关闭内置的外部集成。本仓库不包含报表界面,需自行搭配 BI 工具使用。官方也提供托管版 d8a.tech Cloud,运行相同的管道。

核心功能

  • 01兼容 GA4 与 Matomo 埋点协议,并提供可替代 gtag.js 的网页埋点脚本。
  • 02在后端构建会话,支持配置超时时间与拆分规则。
  • 03输出扁平表结构,点击 ID 与 UTM 归因均有独立字段。
  • 04支持写入 BigQuery、ClickHouse,以及 S3、MinIO、GCS 或本地磁盘上的 CSV/Parquet 文件。
  • 05提供基于表达式的流量过滤,可排除内部访问或机器人,并带测试模式。
  • 06可在离线环境中运行,并关闭对外集成。

适用场景

  • 保留现有 GA4 或 Matomo 埋点,同时将会话化的原始数据存入自有数据仓库。
  • 在医疗或政务等要求数据留在自有基础设施内的场景中做网页分析。
  • 为数据团队提供扁平的会话表,便于直接用 SQL 或 BI 工具分析,无需解析 GA4 的嵌套导出。
  • 将网站流量数据与企业其他数据一起在 ClickHouse 或 BigQuery 中分析。

快速上手

  1. 1

    克隆仓库并在本地打开

  2. 2

    使用开发配置从源码启动服务器

    go run main.go server --config config.dev.yaml
  3. 3

    向本地端点发送一个测试 page_view 请求

    curl "http://localhost:8080/g/collect?v=2&tid=14&dl=https%3A%2F%2Ffoo.bar&en=page_view&cid=ag9" -X POST
  4. 4

    等待约 10 秒,并查看控制台输出确认事件已处理

使用前须知

  • 仓库不包含报表界面,需要自备 BI 工具或使用 Data Studio 仪表板。
  • 会话处理运行在单个工作进程上,只能纵向扩展。
  • README 中的快速开始面向本地开发;生产部署需参考外部文档。

收录于专题

标签

常见问题

d8a 是什么?
开源网页分析管道,兼容 GA4 与 Matomo 埋点协议,将会话化的扁平数据写入 BigQuery、ClickHouse 或 CSV/Parquet 文件。 d8a 是一个以数据仓库为核心的网页分析管道。它接收 GA4 和 Matomo 埋点协议的请求,也支持自带的网页埋点脚本,该脚本可直接替代 gtag.js。会话在后端构建,超时时间可配置,每个会话关闭后会将其全部事件一次性写入数据仓库。
d8a 可以免费使用吗?用的什么许可证?
d8a 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
d8a 还在维护吗?
活跃维护中。d8a 最近一次提交是在 2026年11月6日。
d8a 适合用来做什么?
保留现有 GA4 或 Matomo 埋点,同时将会话化的原始数据存入自有数据仓库。 在医疗或政务等要求数据留在自有基础设施内的场景中做网页分析。 为数据团队提供扁平的会话表,便于直接用 SQL 或 BI 工具分析,无需解析 GA4 的嵌套导出。 将网站流量数据与企业其他数据一起在 ClickHouse 或 BigQuery 中分析。
d8a 怎么安装和运行?
克隆仓库并在本地打开 使用开发配置从源码启动服务器: go run main.go server --config config.dev.yaml 向本地端点发送一个测试 page_view 请求: curl "http://localhost:8080/g/collect?v=2&tid=14&dl=https%3A%2F%2Ffoo.bar&en=page_view&cid=ag9" -X POST 等待约 10 秒,并查看控制台输出确认事件已处理
在哪里获取 d8a?
源代码和安装说明在 GitHub 上:https://github.com/d8a-tech/d8a

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目