Apache Druid es una base de datos de análisis en tiempo real de alto rendimiento, para consultas e ingesta rápidas, y una alternativa de código abierto a los almacenes de datos.
AutoMQ/automq
Un sistema de streaming sin estado y compatible con Kafka que almacena los datos en S3 o en almacenamiento de objetos compatible con S3, en lugar de discos locales.
Alternativa open source a:Amazon MSK
Confluent Cloud
- Estrellas
- 10,917
- Forks
- 797
- Issues abiertos
- 66
- Último commit
- hace 10 horas
¿Qué es?
AutoMQ es un fork de Apache Kafka que sustituye su capa de almacenamiento en discos locales por almacenamiento de objetos, como Amazon S3 o MinIO. Los brokers no conservan estado persistente, por lo que no es necesario mover particiones al escalar un clúster hacia dentro o hacia fuera; según el proyecto, el escalado tarda segundos.
El proyecto está dirigido a equipos que ejecutan Kafka en la nube y se enfrentan a facturas elevadas de almacenamiento EBS, cargos por tráfico entre zonas de disponibilidad y un exceso de aprovisionamiento. Un log de escritura anticipada (WAL) y las capas de caché (LogCache, BlockCache) mantienen eficientes las rutas de escritura y lectura mientras los datos residen en almacenamiento de objetos. Un auto-balancer integrado mueve el tráfico y las particiones entre brokers, por lo que no hace falta una herramienta aparte como Cruise Control. Un router compatible con racks dirige a los clientes de cada zona de disponibilidad a los metadatos de las particiones locales para evitar cargos por tráfico entre zonas en AWS y GCP.
AutoMQ es 100 % compatible con el protocolo Kafka y exporta métricas de Prometheus y OpenTelemetry. La edición open source utiliza S3 directamente de forma predeterminada, lo que, según el proyecto, añade cientos de milisegundos de latencia; la edición Enterprise ofrece latencia de un solo dígito en milisegundos. Se proporcionan archivos de Docker Compose para evaluar configuraciones de un solo nodo y de tres nodos.
Funciones clave
- 01Compatible con el protocolo Kafka y con la capa de almacenamiento de Kafka sustituida por almacenamiento de objetos compatible con S3.
- 02Brokers sin estado que escalan hacia dentro y hacia fuera sin mover los datos de las particiones.
- 03Auto-balancer integrado que redistribuye las particiones y el tráfico entre brokers.
- 04Enrutamiento compatible con racks para evitar cargos por tráfico entre zonas de disponibilidad en AWS y GCP.
- 05Exportación de métricas de Prometheus y OpenTelemetry.
- 06Configuraciones de Docker Compose para evaluar despliegues de un solo nodo y de tres nodos.
Casos de uso
- Sustituir un clúster de Apache Kafka autogestionado en la nube para reducir los costos de almacenamiento y del tráfico entre zonas de disponibilidad.
- Ejecutar cargas de trabajo de streaming que necesitan escalar con frecuencia y tienen tráfico variable.
- Usar clientes Kafka con un backend compatible con S3 en instalaciones locales, como MinIO.
- Evaluar streaming compatible con Kafka en una máquina local antes de un despliegue en producción.
Inicio rápido
- 1
Descarga el archivo de Docker Compose e inicia la configuración de un solo nodo
curl -O https://raw.githubusercontent.com/AutoMQ/automq/refs/tags/1.5.5/docker/docker-compose.yaml && docker compose -f docker-compose.yaml up -d - 2
Ejecuta una prueba de productor de Kafka con AutoMQ en la red de Docker
docker run --network automq_net automqinc/automq:latest /bin/bash -c "/opt/automq/kafka/bin/kafka-producer-perf-test.sh --topic test-topic --num-records=1024000 --throughput 5120 --record-size 1024 --producer-props bootstrap.servers=server1:9092 linger.ms=100 batch.size=524288 buffer.memory=134217728 max.request.size=67108864" - 3
Detén y elimina la configuración después de la prueba
docker compose -f docker-compose.yaml down
Antes de usarlo
- El inicio rápido es solo para evaluación y no es adecuado para producción.
- El funcionamiento predeterminado en S3 ofrece una latencia de cientos de milisegundos; la latencia de un solo dígito en milisegundos está disponible en la versión Enterprise.
- Se requiere Docker, Docker Compose v2, al menos 4 GB de RAM y los puertos 9092 y 9000 libres.
Temas
Preguntas frecuentes
- ¿Qué es automq?
- Un sistema de streaming sin estado y compatible con Kafka que almacena los datos en S3 o en almacenamiento de objetos compatible con S3, en lugar de discos locales. AutoMQ es un fork de Apache Kafka que sustituye su capa de almacenamiento en discos locales por almacenamiento de objetos, como Amazon S3 o MinIO. Los brokers no conservan estado persistente, por lo que no es necesario mover particiones al escalar un clúster hacia dentro o hacia fuera; según el proyecto, el escalado tarda segundos.
- ¿automq es gratuito? ¿Qué licencia tiene?
- automq es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿automq sigue mantenido?
- Mantenimiento activo. El último commit de automq fue el 19 oct 2026.
- ¿Para qué puedo usar automq?
- Sustituir un clúster de Apache Kafka autogestionado en la nube para reducir los costos de almacenamiento y del tráfico entre zonas de disponibilidad. Ejecutar cargas de trabajo de streaming que necesitan escalar con frecuencia y tienen tráfico variable. Usar clientes Kafka con un backend compatible con S3 en instalaciones locales, como MinIO. Evaluar streaming compatible con Kafka en una máquina local antes de un despliegue en producción.
- ¿Cómo se instala automq?
- Descarga el archivo de Docker Compose e inicia la configuración de un solo nodo: curl -O https://raw.githubusercontent.com/AutoMQ/automq/refs/tags/1.5.5/docker/docker-compose.yaml && docker compose -f docker-compose.yaml up -d Ejecuta una prueba de productor de Kafka con AutoMQ en la red de Docker: docker run --network automq_net automqinc/automq:latest /bin/bash -c "/opt/automq/kafka/bin/kafka-producer-perf-test.sh --topic test-topic --num-records=1024000 --throughput 5120 --record-size 1024 --producer-props bootstrap.servers=server1:9092 linger.ms=100 batch.size=524288 buffer.memory=134217728 max.request.size=67108864" Detén y elimina la configuración después de la prueba: docker compose -f docker-compose.yaml down
- ¿Dónde consigo automq?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/AutoMQ/automq
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Almacén OLAP distribuido en tiempo real para analizar con baja latencia datos de streaming y por lotes, con ingesta desde Kafka y S3.
Un sistema de almacenamiento de objetos de alto rendimiento compatible con S3, escrito en Swift y presentado como una alternativa abierta a MinIO y RustFS.
Administrador de archivos ligero que funciona íntegramente en el navegador para buckets de Cloudflare R2, con cargas por partes, vistas previas y herramientas para alojar imágenes.
Helm es el gestor de paquetes de Kubernetes: instala y administra aplicaciones empaquetadas como Charts reutilizables.
Pipedream es una plataforma alojada para crear automatizaciones basadas en eventos que conectan APIs y aplicaciones, con pasos de código personalizado en Node.js, Python, Go o Bash.