Awesome GitHub RepositoriesCluster Failover Managers

This project is a comprehensive Java backend engineering guide and technical reference focused on high-concurrency design, distributed systems, and microservices architecture. It provides detailed strategies for decomposing monolithic applications, managing service discovery, and implementing the architectural patterns required for scalable backend environments. The repository distinguishes itself through an extensive collection of big data algorithmic references and database scaling strategies. It covers memory-efficient techniques for analyzing massive datasets, such as Top-K element extrac

RocketMQ is a cloud-native distributed messaging platform and streaming engine. It functions as a distributed transactional queue that ensures atomicity between local transactions and message delivery, and serves as an MQTT IoT message broker to bridge lightweight device traffic into high-performance data streams. The system is distinguished by a Kubernetes-native architecture that decouples compute from storage to allow independent scaling of traffic and data retention. It utilizes a tiered storage model to offload older data to remote storage and employs quorum-based replication and automat

Quarkus is a Kubernetes-native Java framework designed for building high-performance, memory-efficient applications. It utilizes ahead-of-time native compilation to transform Java code into standalone, optimized binaries that eliminate the need for a virtual machine, enabling rapid startup and reduced memory consumption. By performing code augmentation during the build phase, it shifts heavy processing tasks away from runtime, ensuring that applications are optimized for cloud-native environments. The framework distinguishes itself through a unified approach to reactive and imperative program

ioredis is a performance-focused Redis client for Node.js applications. It provides a comprehensive interface for interacting with Redis servers, including specialized clients for sharded clusters and Sentinel-based high availability environments. The project distinguishes itself through advanced networking and execution capabilities, such as automatic event-loop pipelining to reduce overhead and a system for routing read-write traffic between primary and replica nodes. It also features a dedicated Lua scripting interface that allows server-side scripts to be registered as custom client comma

Eureka is a service registry and discovery server that serves as a coordination tool for microservices. It provides a distributed service registry where instances record their network locations and health status to enable dynamic communication without the use of hardcoded addresses. The system functions as a client-side load balancing framework, providing location data to consumers so they can distribute network traffic across available instances. It employs a heartbeat-based health monitor to track instance availability and automatically removes unresponsive nodes from the registry to manage

Garnet is a multi-threaded in-memory database and distributed key-value store. It functions as a high-performance remote cache store that implements the RESP wire protocol to maintain compatibility with existing Redis clients and libraries. The project is distinguished by a shared-memory architecture that enables parallel request processing across multiple cores for sub-millisecond latency. It features a tiered storage system that automatically offloads colder data from system memory to SSD or cloud storage layers, and includes a specialized vector search database for high-dimensional similar

DiceDB is a distributed cache manager and hierarchical storage engine based on a Valkey key-value store. It functions as a high-availability key-value cluster that balances performance and cost by distributing data across memory and disk tiers. The system supports working sets larger than available RAM by persisting evicted keys to disk and restoring them on demand. It also includes a real-time query subscription system that notifies clients when data matching specific criteria is updated. The project provides distributed cache coordination through master node health monitoring and quorum-ba

This project provides a version of the Redis 3.0 codebase featuring detailed technical commentary and annotations. It serves as a technical resource for studying the internal design and implementation of an in-memory key-value store and the architecture of a networked NoSQL database. The documentation focuses on the implementation of the Redis Sentinel system, covering the mechanisms used for monitoring instance health, managing automatic failover, and notifying clients of primary node changes. The project covers broader architectural areas including in-memory data storage, high availability

Patroni is a high availability manager and cluster orchestrator for PostgreSQL. It functions as an automatic failover controller and replication manager that ensures continuous database availability by automating leader election and promoting standby nodes during failures. The system maintains a consistent cluster state by acting as a distributed consensus coordinator. It synchronizes configuration and manages leader elections through integration with distributed configuration stores such as etcd, ZooKeeper, or Consul. Its broader capabilities include managing both synchronous and asynchrono

This project is a comprehensive educational resource and curriculum focused on site reliability engineering, distributed systems, and infrastructure operations. It provides technical guides, a systems engineering course, and instructional manuals designed to teach the principles of managing large-scale computing environments. The curriculum covers high-level architectural design for scalability and resilience, including fault-tolerant infrastructure, high-availability patterns, and microservices decomposition. It emphasizes the practical application of site reliability engineering through the

CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Optimism este un stack de tip optimistic rollup pentru Ethereum, conceput pentru a crește debitul tranzacțiilor prin procesarea acestora pe un strat secundar și finalizarea stării pe mainnet-ul Ethereum. Funcționează ca un framework de scalare care utilizează un rollup sequencer pentru a ordona tranzacțiile, a produce blocuri și a trimite datele grupate către blockchain-ul principal. Sistemul include un mecanism de fraud proof care utilizează emularea instrucțiunilor on-chain pentru a soluționa disputele și a verifica corectitudinea tranzițiilor de stare. Include un set de instrumente dedicat pentru implementarea și actualizarea smart contract-urilor necesare pentru a inițializa și menține rețeaua de scalare. Proiectul acoperă domenii vaste, precum sincronizarea stării blockchain-ului, rutarea mesajelor cross-chain și administrarea sequencer-ului cu failover de înaltă disponibilitate. De asemenea, oferă infrastructură pentru disponibilitatea datelor, generarea de dovezi de eroare și un framework orientat pe servicii pentru dezvoltarea componentelor blockchain. Repository-ul include un kit de dezvoltare cu utilitare pentru gestionarea conturilor, simularea rețelei și testarea integrării pentru a valida comportamentul sistemului și stabilitatea actualizărilor.

Orchestrator este un sistem de înaltă disponibilitate și un manager de replicare pentru clusterele de baze de date MySQL. Funcționează ca un automatizator de failover și vizualizator de topologie conceput pentru a detecta eșecurile master-ului și a promova replicile standby pentru a minimiza timpul de nefuncționare al sistemului. Proiectul se concentrează pe gestionarea și reconfigurarea topologiilor de replicare MySQL pentru a menține o distribuție consistentă a datelor. Utilizează crawling-ul pentru descoperirea topologiei pentru a mapa structurile de replicare și identifică eșecurile active în cadrul clusterului de baze de date. Sistemul oferă capabilități pentru recuperarea automatizată a clusterului, urmărirea instanțelor conștientă de locație și reconfigurarea topologiei bazată pe constrângeri. De asemenea, menține un jurnal de audit al înregistrării stării pentru a urmări schimbările istorice de topologie și evenimentele de failover.

MySQL replication topology management and HA

Cronicle is a distributed job scheduler that replaces traditional cron with a browser-based management interface. It runs scheduled tasks across a cluster of servers with automatic failover, using a custom cron parser that intersects day-of-month and day-of-week constraints when both are specified. The system executes jobs through a plugin framework that runs command-line scripts in any language, communicating via JSON over standard input and output. The scheduler provides a web-based real-time dashboard for monitoring running jobs with live logs, resource usage charts, and progress updates.

Seesaw este o platformă de distribuție a traficului bazată pe tehnologia Linux Virtual Server. Funcționează ca un load balancer pentru gestionarea clusterelor de rețea cu disponibilitate ridicată, utilizând un controler de rutare BGP anycast pentru a anunța și retrage adrese IP virtuale, direcționând astfel traficul către cel mai apropiat nod disponibil. Sistemul include un orchestrator de tip direct server return care permite serverelor backend să trimită traficul de ieșire direct către clienți. De asemenea, oferă o interfață în linie de comandă pentru gestionarea clusterului, utilă pentru reîncărcarea configurațiilor și declanșarea failover-ului între noduri. Platforma acoperă monitorizarea sănătății backend-ului prin protocoalele HTTP, TCP, ICMP și DNS. De asemenea, gestionează distribuția traficului de rețea prin controlul ponderii serverelor, ajustând proporția de trafic primită de fiecare host în funcție de capacitatea acestuia.

Pigsty este o platformă cuprinzătoare de orchestrare a infrastructurii de baze de date concepută pentru a automatiza întregul ciclu de viață al clusterelor PostgreSQL de înaltă disponibilitate. Acesta funcționează ca un framework de tip infrastructure-as-code care gestionează coordonarea clusterului, provizionarea nodurilor și descoperirea serviciilor prin playbook-uri idempotente. Prin integrarea mecanismelor de consens distribuit, platforma asigură failover-ul automat și impunerea stării consistente în medii diverse, inclusiv bare metal și infrastructură virtualizată. Platforma se distinge printr-o suită robustă de capabilități operaționale care se extind dincolo de gestionarea standard a bazelor de date. Dispune de un pipeline de observabilitate încorporat care agregă metrici, log-uri și urme în dashboard-uri centralizate pentru monitorizarea performanței în timp real și analiză diagnostică. În plus, oferă un framework de migrare care emulează protocoalele wire proprietare și sintaxa SQL, permițând integrarea sarcinilor de lucru ale bazelor de date enterprise legacy în medii relaționale moderne. Sistemul acoperă o suprafață funcțională largă, inclusiv gestionarea avansată a stocării cu clonare copy-on-write pentru implementare rapidă și orchestrarea multi-bază de date care coordonează motoarele relaționale cu caching-ul și serviciile de stocare a obiectelor. De asemenea, încorporează securizarea, backup-ul și recuperarea automată și rutarea traficului prin proxy-uri stratificate pentru a decupla conexiunile clienților de topologia clusterului subiacent. Proiectul este distribuit ca un model de oglindire a pachetelor auto-conținut, permițând implementarea consistentă și gestionarea dependențelor în medii securizate sau izolate (air-gapped).

Keepalived este un manager de înaltă disponibilitate și un instrument de failover pentru IP-uri virtuale care asigură disponibilitatea continuă a serviciilor. Acesta coordonează migrarea adreselor IP flotante între nodurile master și backup folosind Virtual Router Redundancy Protocol pentru a gestiona redundanța routerelor și failover-ul fără întreruperi. Proiectul se distinge prin integrarea cu modulul IPVS al kernel-ului Linux pentru a funcționa ca un load balancer la nivel de transport. Acesta distribuie traficul de rețea între serverele backend folosind diverse algoritmi de programare și metode de forwardare, cum ar fi NAT, rutare directă sau tunelare. Sistemul include capabilități de monitorizare a sănătății rețelei folosind TCP, HTTP și protocolul Bidirectional Forwarding Detection pentru a identifica defecțiunile în milisecunde. De asemenea, suportă orchestrarea automată a failover-ului prin execuția de scripturi personalizate, alerte administrative SMTP și sincronizarea căilor de rutare între mai multe instanțe. Software-ul oferă o suprafață de configurare care suportă templatizarea, izolarea namespace-urilor de rețea și exportul metricilor de sistem prin SNMP.

Acest proiect este un operator Kubernetes conceput pentru deployment-ul și gestionarea clusterelor de baze de date PostgreSQL de producție folosind configurații declarative. Funcționează ca un controller care sincronizează starea reală a clusterelor de baze de date cu o stare dorită, oferind un sistem pentru orchestrarea disponibilității ridicate, backup și recuperare automată și administrarea bazelor de date containerizate. Operatorul se distinge printr-o suită cuprinzătoare de protecție a datelor care suportă recuperarea la un moment dat (point-in-time recovery), backup-uri multi-mod către stocarea de obiecte în cloud și clonarea clusterelor. Asigură disponibilitatea continuă folosind consensul distribuit pentru failover automat și suportă gestionarea sofisticată a traficului printr-un connection pooler integrat. Proiectul acoperă o gamă largă de capabilități operaționale, inclusiv replicarea sincronă și asincronă, colectarea de telemetrie printr-un stack de monitorizare dedicat și gestionarea securizată a identității cu rotația automată a certificatelor TLS. Oferă, de asemenea, instrumente pentru extinderea volumelor de stocare, actualizări ale motorului bazei de date și integrarea diverselor extensii de baze de date. Controller-ul este instalat într-un cluster folosind manifeste customizabile pentru a permite orchestrarea declarativă a mediului bazei de date.