Awesome GitHub RepositoriesCloud Native Message Queues

AutoMQ is a cloud-native streaming platform and Apache Kafka distribution that implements a decoupled compute and storage architecture. It functions as an S3-backed message queue, using object storage as the primary log repository to eliminate dependencies on local disks. The platform utilizes a stateless broker architecture to enable dynamic compute scaling and automated partition balancing. This design allows the system to adjust the number of brokers in seconds and distribute network traffic without requiring manual data migration or partition reassignment. The system provides multi-avail

Jocko ist eine Cloud-native Event-Streaming-Plattform und ein verteilter Commit-Log, implementiert in Go. Es fungiert als verteilter Message-Broker, der Datenbeständigkeit und Hochverfügbarkeit durch die Replikation von Datensatzsequenzen über einen Cluster hinweg sicherstellt. Das System ist als Zookeeper-freier Event-Streamer konzipiert und nutzt eine integrierte Konsens-Koordination, um den Cluster-Zustand und die Leader-Wahl ohne externe Koordinationsdienste zu verwalten. Es implementiert das Kafka-Wire-Protokoll, wodurch es mit bestehenden Ökosystem-Clients und Tools kommunizieren kann. Die Plattform bietet Funktionen für das verteilte Log-Management, einschließlich der Verwendung eines Append-only-Commit-Logs für die Datenpersistenz. Sie enthält zudem automatisierte Mechanismen zur Datenaufbewahrung, die alte Datensätze basierend auf Zeitlimits oder Speicherplatzschwellenwerten bereinigen. Das Projekt wird als Single-Binary-Laufzeitumgebung vertrieben.