2 dépôts
Message queuing systems optimized for cloud environments using object storage for persistence.
Distinct from Message Queues: Distinct from general message queues by the specific requirement of being cloud-native and S3-backed.
Explore 2 awesome GitHub repositories matching data & databases · Cloud Native Message Queues. Refine with filters or upvote what's useful.
AutoMQ is a cloud-native streaming platform and Apache Kafka distribution that implements a decoupled compute and storage architecture. It functions as an S3-backed message queue, using object storage as the primary log repository to eliminate dependencies on local disks. The platform utilizes a stateless broker architecture to enable dynamic compute scaling and automated partition balancing. This design allows the system to adjust the number of brokers in seconds and distribute network traffic without requiring manual data migration or partition reassignment. The system provides multi-avail
Provides a Kafka-compatible streaming platform that uses object storage to remove local disk dependencies.
Jocko est une plateforme de streaming d'événements cloud-native et un journal de commit distribué implémenté en Go. Il fonctionne comme un broker de messages distribué qui assure la durabilité des données et la haute disponibilité en répliquant les séquences d'enregistrements à travers un cluster. Le système est conçu comme un streamer d'événements sans Zookeeper, utilisant une coordination de consensus intégrée pour gérer l'état du cluster et l'élection du leader sans nécessiter de services de coordination externes. Il implémente le protocole réseau Kafka, lui permettant de communiquer avec les clients et outils de l'écosystème existant. La plateforme fournit des capacités pour la gestion de journaux distribués, y compris l'utilisation d'un journal de commit en ajout seul (append-only) pour la persistance des données. Elle inclut également des mécanismes automatisés de rétention des données qui purgent les anciens enregistrements en fonction de limites de temps ou de seuils d'espace disque. Le projet est distribué sous forme de runtime binaire unique.
Provides a lightweight messaging cluster optimized for cloud-native deployment as a single binary.