Awesome GitHub RepositoriesDatabase High Availability

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

CacheCloud is a cloud management platform and infrastructure orchestrator for Redis. It provides a centralized dashboard to deploy, scale, and monitor Redis instances across standalone, sentinel, and cluster architectures. The system standardizes operational workflows to reduce manual effort through automated deployment and maintenance processes. It enables elastic resource scaling via vertical and horizontal adjustments to optimize hardware utilization and manages high-availability transitions through automated failover. The platform includes a metadata-driven directory to track physical ma

Patroni is a high availability manager and cluster orchestrator for PostgreSQL. It functions as an automatic failover controller and replication manager that ensures continuous database availability by automating leader election and promoting standby nodes during failures. The system maintains a consistent cluster state by acting as a distributed consensus coordinator. It synchronizes configuration and manages leader elections through integration with distributed configuration stores such as etcd, ZooKeeper, or Consul. Its broader capabilities include managing both synchronous and asynchrono

CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove

Flynn is an open-source Platform as a Service (PaaS) that automates the full lifecycle of containerized applications across any infrastructure. It functions as a container orchestration platform, scheduling and managing application containers with isolated filesystem and network stacks, while also providing a health-checked service discovery router that directs traffic only to healthy container instances. The platform is built around a Git-push deployment model, where pushing code to a configured repository triggers an automated build-test-deploy cycle. It supports declarative scaling, allowi

Predis is a PHP library for connecting to and executing commands against Redis and Valkey data stores. It functions as a client for managing data integration, providing dedicated implementations for cluster sharding, pub/sub messaging, and Sentinel-based service discovery. The project distinguishes itself through specialized clients for executing server-side Lua scripts with automated hash caching and a cluster client that supports gossip protocols and key distribution. It also implements a Sentinel client to manage high availability and failover within replicated environments. The library c

ProxySQL is a database proxy designed to route and balance traffic between applications and MySQL or PostgreSQL servers. It provides database high availability by monitoring backend server health and automatically rerouting traffic to healthy nodes during failover events to prevent downtime. The system integrates with generative AI models by proxying requests through a protocol handler, creating a bridge that allows large language models to access structured data. The project includes capabilities for traffic management through automatic failover routing and cluster topology discovery. It op

PikiwiDB est une base de données NoSQL distribuée et un magasin clé-valeur basé sur disque qui sert de serveur de protocole compatible Redis. Il est conçu pour gérer des jeux de données plus grands que la mémoire système disponible en utilisant un moteur de persistance qui stocke le jeu de données complet sur disque. Le système emploie un modèle de stockage par niveaux, mettant en cache les données chaudes fréquemment consultées en mémoire tout en maintenant le volume principal sur disque. Il assure une haute disponibilité via une architecture de magasin de données répliqué, utilisant des logs binaires asynchrones pour synchroniser les données entre les nœuds primaires et secondaires. Le projet prend en charge le scaling de base de données distribuée via le sharding de données basé sur cluster et organise les données en groupes pour étendre la couche de stockage. Ses capacités opérationnelles incluent la surveillance des performances système pour suivre l'utilisation des ressources et la prise en charge du déploiement conteneurisé.

Fleet is an open-source device management platform that provides centralized control over computing devices running macOS, Linux, Windows, Chromebooks, iOS, and Android. It enables organizations to enroll devices, collect real-time telemetry, enforce security compliance policies, and manage software remotely from a single system. The platform can be deployed as a single binary, run locally for testing, or scaled horizontally across cloud infrastructure on AWS, Kubernetes, GCP, or Render, with support for high availability through database replication and load balancing. The platform distingui

Orchestrator est un système de haute disponibilité et un gestionnaire de réplication pour les clusters de bases de données MySQL. Il fonctionne comme un automatiseur de basculement et un visualiseur de topologie conçu pour détecter les pannes de maître et promouvoir les réplicas de secours afin de minimiser les temps d'arrêt du système. Le projet se concentre sur la gestion et la reconfiguration des topologies de réplication MySQL pour maintenir une distribution cohérente des données. Il utilise l'exploration de découverte de topologie pour mapper les structures de réplication et identifie les pannes actives au sein du cluster de base de données. Le système fournit des fonctionnalités pour la récupération automatisée de cluster, le suivi d'instance conscient de l'emplacement et la reconfiguration de topologie basée sur des contraintes. Il maintient également un journal d'audit de l'enregistrement d'état pour suivre les changements de topologie historiques et les événements de basculement.

MySQL replication topology management and HA

AliSQL is a fork of MySQL by Alibaba that extends the relational database management system with enhancements for high performance, scalability, and enterprise-grade availability. It retains the core MySQL identity as a SQL-based database for storing, organizing, and retrieving structured data, while adding optimizations for large-scale transactional and analytical workloads. The project differentiates itself through a set of Alibaba-specific improvements, including a columnar engine for accelerating analytical queries directly on MySQL tables, and a distributed, shared-nothing NDB Cluster en

Pigsty est une plateforme d'orchestration d'infrastructure de base de données complète conçue pour automatiser le cycle de vie complet des clusters PostgreSQL à haute disponibilité. Il fonctionne comme un framework d'infrastructure en tant que code qui gère la coordination des clusters, le provisionnement des nœuds et la découverte de services via des playbooks idempotents. En intégrant des mécanismes de consensus distribués, la plateforme assure un basculement automatisé et une application cohérente de l'état à travers divers environnements, y compris le matériel nu et l'infrastructure virtualisée. La plateforme se distingue par une suite robuste de capacités opérationnelles qui s'étendent au-delà de la gestion de base de données standard. Elle dispose d'un pipeline d'observabilité intégré qui agrège les métriques, les logs et les traces dans des tableaux de bord centralisés pour une surveillance des performances en temps réel et une analyse diagnostique. De plus, elle fournit un framework de migration qui émule les protocoles filaires propriétaires et la syntaxe SQL, permettant l'intégration de charges de travail de base de données d'entreprise héritées dans des environnements relationnels modernes. Le système couvre une large surface fonctionnelle, y compris la gestion avancée du stockage avec clonage par copie sur écriture pour un déploiement rapide, et l'orchestration multi-base de données qui coordonne les moteurs relationnels avec la mise en cache et le stockage d'objets. Il intègre également le renforcement de la sécurité, la sauvegarde et la récupération automatisées, et le routage du trafic via des proxys en couches pour découpler les connexions client de la topologie de cluster sous-jacente. Le projet est distribué sous forme de modèle de miroir de package autonome, permettant un déploiement et une gestion des dépendances cohérents dans des environnements sécurisés ou isolés.

This project is a PostgreSQL Kubernetes operator and database orchestrator designed to automate the deployment, scaling, and lifecycle management of high-availability database clusters. It functions as a controller that uses declarative manifests to provision and synchronize the state of database instances within a cluster. The system manages high availability through streaming replication and ensures constant availability during maintenance via rolling updates. It also serves as a backup and recovery manager, handling point-in-time recovery, logical backups, and cluster cloning using cloud s

m3 est une base de données de séries temporelles distribuée conçue pour les métriques haute résolution et la gestion de données à haute cardinalité. Elle fonctionne comme un système de stockage évolutif et un moteur de requête multi-cluster, fournissant un agrégateur de métriques distribué capable de sous-échantillonner et de résumer les données avant qu'elles ne soient validées dans le stockage. Le projet se distingue par un modèle de cluster coordonné utilisant etcd pour l'appartenance aux nœuds et le placement des shards. Il prend en charge plusieurs protocoles d'ingestion, notamment le protocole d'écriture à distance Prometheus, le protocole InfluxDB line et le protocole Graphite Carbon en texte brut, et fournit des interfaces de requête compatibles pour PromQL et Graphite. Le système couvre de larges domaines de capacités, notamment le stockage de séries temporelles en colonnes, la réplication synchrone des données et le fan-out de requêtes distribuées. Il intègre l'automatisation du cycle de vie des données, le réglage de la cohérence basé sur le quorum et l'indexation des séries basée sur les tags pour maintenir l'intégrité des données et la vitesse de récupération à travers des espaces de noms isolés. L'orchestration du cluster et le placement des composants sont gérés via des outils automatisés et des opérateurs pour assurer une haute disponibilité et une distribution équilibrée des données.

LiteFS est un système de fichiers distribué basé sur FUSE conçu pour répliquer les bases de données SQLite sur un cluster de machines. Il fonctionne comme une couche de haute disponibilité qui synchronise les données en interceptant les opérations d'écriture pour assurer la cohérence sur plusieurs nœuds de serveur. Le système gère le stockage de base de données distribué en mappant les opérations de fichiers vers des requêtes réseau via un pilote en espace utilisateur. Cela permet la synchronisation des données multi-régions et la distribution du contenu de la base de données vers des nœuds en périphérie (edge nodes), facilitant les lectures locales avec des écritures globales synchronisées. Le processus de réplication utilise l'expédition de journaux d'écriture anticipée (write-ahead log shipping) et l'interception consciente des transactions pour diffuser les changements validés d'un nœud primaire vers des répliques de secours. Les nouvelles répliques sont initialisées via des instantanés (snapshots) avant de passer à la réplication incrémentielle des journaux.

Stolon est un gestionnaire et orchestrateur de base de données cloud-native pour PostgreSQL. Il fonctionne comme un gestionnaire de haute disponibilité conçu pour automatiser le basculement (failover), la réplication et la gestion de cluster dans des environnements distribués. Le système coordonne la mise en miroir synchrone et asynchrone des données et utilise un mécanisme de découverte de service pour détecter dynamiquement les adresses des nœuds de base de données. Il achemine le trafic client vers l'instance primaire actuelle via un proxy pour maintenir l'accès à l'application lors des changements de rôle. Le projet couvre la reprise après sinistre (disaster recovery) via la récupération à un instant T et la maintenance de clusters de secours multi-sites. Il inclut également des capacités pour sécuriser les connexions à la base de données via le chiffrement et l'automatisation de la détection des changements d'adresse de processus au sein du réseau.

Pigsty is a full-stack orchestration suite for deploying, monitoring, and managing high-availability PostgreSQL clusters and their supporting infrastructure. It functions as a cluster management platform and high-availability suite that automates failover, manages virtual IPs, and ensures data consistency through distributed consensus. The project distinguishes itself by providing a comprehensive database infrastructure-as-code framework and a dedicated observability stack. It incorporates a backup and recovery manager supporting point-in-time recovery via S3-compatible object storage, alongs

Atlas est un proxy de base de données MySQL et un système middleware conçu pour gérer le trafic entre les clients et les clusters de bases de données. Il fonctionne comme une passerelle de base de données haute disponibilité et un middleware de sharding, fournissant un point d'entrée tolérant aux pannes pour le routage, l'équilibrage de charge et la gestion des connexions aux bases de données. Le projet se distingue par une combinaison de séparation lecture-écriture, qui dirige les requêtes vers les serveurs primaires ou répliques, et de sharding de données pour distribuer les informations sur plusieurs instances backend. Il utilise un pooler de connexions pour réduire la surcharge liée à l'établissement de nouvelles sessions et implémente un routage conscient du protocole pour intercepter et diriger les requêtes des clients. Le système inclut des capacités de surveillance de la santé et de basculement automatisé pour assurer un service continu. Il prend en charge le contrôle administratif sur la disponibilité des serveurs backend, le filtrage IP des clients pour le contrôle d'accès, et un mécanisme pour les mises à niveau sans interruption via la diversion de trafic pilotée par signal. L'intégrité des transactions est gérée via des rollbacks automatiques en cas de déconnexion inattendue du client.

This project is a Kubernetes operator designed for deploying and managing production PostgreSQL database clusters using declarative configurations. It functions as a controller that synchronizes the actual state of database clusters with a desired state, providing a system for high availability orchestration, automated backup and recovery, and containerized database administration. The operator distinguishes itself through a comprehensive data protection suite that supports point-in-time recovery, multi-mode backups to cloud object storage, and cluster cloning. It ensures continuous availabil