Repolode
AutoMQ

AutoMQ/automq

로컬 디스크 대신 S3 또는 S3 호환 오브젝트 스토리지에 데이터를 저장하는 무상태 Kafka 호환 스트리밍 시스템입니다.

대체할 수 있는 제품:Amazon MSKConfluent Cloud

스타
10,917
포크
797
열린 이슈
68
마지막 커밋
4시간 전

어떤 프로젝트인가요?

AutoMQ는 로컬 디스크 스토리지 엔진을 Amazon S3나 MinIO 같은 오브젝트 스토리지 기반 엔진으로 대체한 Apache Kafka 포크입니다. 브로커는 영구 상태를 보유하지 않으므로 데이터를 복사하지 않고도 파티션과 트래픽을 노드 간에 이동할 수 있으며, 프로젝트에 따르면 이를 통해 몇 초 안에 규모를 늘리거나 줄일 수 있습니다.

이 프로젝트는 클라우드에서 Kafka를 운영할 때 발생하는 세 가지 비용 및 운영 문제, 즉 EBS 스토리지 요금, AZ 간 트래픽 요금, 피크 부하에 대비한 과잉 프로비저닝 문제를 해결하고자 합니다. WAL과 캐싱 계층을 사용해 오브젝트 스토리지 요청 비용을 줄이고, 랙 인식 라우터를 통해 서로 다른 가용 영역의 클라이언트가 해당 영역의 파티션 메타데이터를 읽도록 합니다. 내장된 오토밸런서가 브로커 간에 파티션과 트래픽을 이동하므로 별도로 Cruise Control을 배포할 필요가 없습니다.

AutoMQ는 Kafka와 100% 호환된다고 설명하며 Prometheus 및 OpenTelemetry 메트릭을 제공합니다. 저장소에는 단일 노드 및 3노드 테스트 환경을 위한 Docker Compose 파일이 포함되어 있고, Kubernetes 및 Linux 배포 가이드 링크도 제공됩니다. Apache 2.0 라이선스를 사용합니다.

핵심 기능

  • 01로컬 디스크 대신 S3 또는 S3 호환 오브젝트 스토리지에 토픽 데이터를 저장합니다.
  • 02브로커가 무상태이므로 몇 초 안에 규모를 늘리거나 줄일 수 있습니다.
  • 03내장 오토밸런서가 Cruise Control 없이 파티션과 트래픽을 재분배합니다.
  • 04랙 인식 라우팅으로 AWS 및 GCP의 AZ 간 트래픽 요금을 줄이는 것을 목표로 합니다.
  • 05Prometheus 및 OpenTelemetry 메트릭을 제공합니다.
  • 06Apache Kafka 프로토콜과 완전히 호환된다고 설명합니다.

활용 사례

  • 스토리지 및 AZ 간 네트워크 비용을 줄이기 위해 클라우드의 자체 관리형 Kafka 클러스터를 대체합니다.
  • 트래픽 변동에 따라 빈번하게 규모를 조정하는 이벤트 스트리밍 워크로드를 운영합니다.
  • MinIO 같은 온프레미스 S3 호환 스토리지에서 Kafka 호환 스트리밍 계층을 구축합니다.
  • 제공된 Docker Compose 설정으로 로컬에서 디스크리스 Kafka 배포를 평가합니다.

토픽

자주 묻는 질문

automq은(는) 무엇인가요?
로컬 디스크 대신 S3 또는 S3 호환 오브젝트 스토리지에 데이터를 저장하는 무상태 Kafka 호환 스트리밍 시스템입니다. AutoMQ는 로컬 디스크 스토리지 엔진을 Amazon S3나 MinIO 같은 오브젝트 스토리지 기반 엔진으로 대체한 Apache Kafka 포크입니다. 브로커는 영구 상태를 보유하지 않으므로 데이터를 복사하지 않고도 파티션과 트래픽을 노드 간에 이동할 수 있으며, 프로젝트에 따르면 이를 통해 몇 초 안에 규모를 늘리거나 줄일 수 있습니다.
automq은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
automq은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
automq은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. automq의 마지막 커밋은 2026년 10월 19일입니다.
automq은(는) 어디에 사용할 수 있나요?
스토리지 및 AZ 간 네트워크 비용을 줄이기 위해 클라우드의 자체 관리형 Kafka 클러스터를 대체합니다. 트래픽 변동에 따라 빈번하게 규모를 조정하는 이벤트 스트리밍 워크로드를 운영합니다. MinIO 같은 온프레미스 S3 호환 스토리지에서 Kafka 호환 스트리밍 계층을 구축합니다. 제공된 Docker Compose 설정으로 로컬에서 디스크리스 Kafka 배포를 평가합니다.
automq은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/AutoMQ/automq

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트