Repolode
AutoMQ

AutoMQ/automq

Un sistema de streaming sin estado y compatible con Kafka que almacena los datos en S3 o en almacenamiento de objetos compatible con S3, en lugar de discos locales.

Alternativa open source a:Amazon MSKConfluent Cloud

Estrellas
10,917
Forks
797
Issues abiertos
66
Último commit
hace 10 horas

¿Qué es?

AutoMQ es un fork de Apache Kafka que sustituye su capa de almacenamiento en discos locales por almacenamiento de objetos, como Amazon S3 o MinIO. Los brokers no conservan estado persistente, por lo que no es necesario mover particiones al escalar un clúster hacia dentro o hacia fuera; según el proyecto, el escalado tarda segundos.

El proyecto está dirigido a equipos que ejecutan Kafka en la nube y se enfrentan a facturas elevadas de almacenamiento EBS, cargos por tráfico entre zonas de disponibilidad y un exceso de aprovisionamiento. Un log de escritura anticipada (WAL) y las capas de caché (LogCache, BlockCache) mantienen eficientes las rutas de escritura y lectura mientras los datos residen en almacenamiento de objetos. Un auto-balancer integrado mueve el tráfico y las particiones entre brokers, por lo que no hace falta una herramienta aparte como Cruise Control. Un router compatible con racks dirige a los clientes de cada zona de disponibilidad a los metadatos de las particiones locales para evitar cargos por tráfico entre zonas en AWS y GCP.

AutoMQ es 100 % compatible con el protocolo Kafka y exporta métricas de Prometheus y OpenTelemetry. La edición open source utiliza S3 directamente de forma predeterminada, lo que, según el proyecto, añade cientos de milisegundos de latencia; la edición Enterprise ofrece latencia de un solo dígito en milisegundos. Se proporcionan archivos de Docker Compose para evaluar configuraciones de un solo nodo y de tres nodos.

Funciones clave

  • 01Compatible con el protocolo Kafka y con la capa de almacenamiento de Kafka sustituida por almacenamiento de objetos compatible con S3.
  • 02Brokers sin estado que escalan hacia dentro y hacia fuera sin mover los datos de las particiones.
  • 03Auto-balancer integrado que redistribuye las particiones y el tráfico entre brokers.
  • 04Enrutamiento compatible con racks para evitar cargos por tráfico entre zonas de disponibilidad en AWS y GCP.
  • 05Exportación de métricas de Prometheus y OpenTelemetry.
  • 06Configuraciones de Docker Compose para evaluar despliegues de un solo nodo y de tres nodos.

Casos de uso

  • Sustituir un clúster de Apache Kafka autogestionado en la nube para reducir los costos de almacenamiento y del tráfico entre zonas de disponibilidad.
  • Ejecutar cargas de trabajo de streaming que necesitan escalar con frecuencia y tienen tráfico variable.
  • Usar clientes Kafka con un backend compatible con S3 en instalaciones locales, como MinIO.
  • Evaluar streaming compatible con Kafka en una máquina local antes de un despliegue en producción.

Inicio rápido

  1. 1

    Descarga el archivo de Docker Compose e inicia la configuración de un solo nodo

    curl -O https://raw.githubusercontent.com/AutoMQ/automq/refs/tags/1.5.5/docker/docker-compose.yaml && docker compose -f docker-compose.yaml up -d
  2. 2

    Ejecuta una prueba de productor de Kafka con AutoMQ en la red de Docker

    docker run --network automq_net automqinc/automq:latest /bin/bash -c "/opt/automq/kafka/bin/kafka-producer-perf-test.sh --topic test-topic --num-records=1024000 --throughput 5120 --record-size 1024 --producer-props bootstrap.servers=server1:9092 linger.ms=100 batch.size=524288 buffer.memory=134217728 max.request.size=67108864"
  3. 3

    Detén y elimina la configuración después de la prueba

    docker compose -f docker-compose.yaml down

Antes de usarlo

  • El inicio rápido es solo para evaluación y no es adecuado para producción.
  • El funcionamiento predeterminado en S3 ofrece una latencia de cientos de milisegundos; la latencia de un solo dígito en milisegundos está disponible en la versión Enterprise.
  • Se requiere Docker, Docker Compose v2, al menos 4 GB de RAM y los puertos 9092 y 9000 libres.

Temas

Preguntas frecuentes

¿Qué es automq?
Un sistema de streaming sin estado y compatible con Kafka que almacena los datos en S3 o en almacenamiento de objetos compatible con S3, en lugar de discos locales. AutoMQ es un fork de Apache Kafka que sustituye su capa de almacenamiento en discos locales por almacenamiento de objetos, como Amazon S3 o MinIO. Los brokers no conservan estado persistente, por lo que no es necesario mover particiones al escalar un clúster hacia dentro o hacia fuera; según el proyecto, el escalado tarda segundos.
¿automq es gratuito? ¿Qué licencia tiene?
automq es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿automq sigue mantenido?
Mantenimiento activo. El último commit de automq fue el 19 oct 2026.
¿Para qué puedo usar automq?
Sustituir un clúster de Apache Kafka autogestionado en la nube para reducir los costos de almacenamiento y del tráfico entre zonas de disponibilidad. Ejecutar cargas de trabajo de streaming que necesitan escalar con frecuencia y tienen tráfico variable. Usar clientes Kafka con un backend compatible con S3 en instalaciones locales, como MinIO. Evaluar streaming compatible con Kafka en una máquina local antes de un despliegue en producción.
¿Cómo se instala automq?
Descarga el archivo de Docker Compose e inicia la configuración de un solo nodo: curl -O https://raw.githubusercontent.com/AutoMQ/automq/refs/tags/1.5.5/docker/docker-compose.yaml && docker compose -f docker-compose.yaml up -d Ejecuta una prueba de productor de Kafka con AutoMQ en la red de Docker: docker run --network automq_net automqinc/automq:latest /bin/bash -c "/opt/automq/kafka/bin/kafka-producer-perf-test.sh --topic test-topic --num-records=1024000 --throughput 5120 --record-size 1024 --producer-props bootstrap.servers=server1:9092 linger.ms=100 batch.size=524288 buffer.memory=134217728 max.request.size=67108864" Detén y elimina la configuración después de la prueba: docker compose -f docker-compose.yaml down
¿Dónde consigo automq?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/AutoMQ/automq

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados