Awesome GitHub RepositoriesGeographic Data Replication

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

GlusterFS est un système de fichiers distribué défini par logiciel et un cluster de stockage scale-out qui agrège les ressources disque de plusieurs serveurs en un seul espace de noms global. Il fonctionne comme une plateforme de stockage unifiée, permettant aux mêmes données sous-jacentes d'être exposées via des interfaces de stockage de fichiers, de blocs et d'objets. Le système se distingue par une architecture décentralisée qui utilise le hachage cohérent pour distribuer les fichiers sur les nœuds réseau sans serveur de métadonnées central. Il garantit l'intégrité et la disponibilité des données en utilisant la réplication auto-réparatrice, la cohérence basée sur le quorum pour éviter les scénarios de split-brain, et la géo-réplication asynchrone pour la reprise après sinistre sur des sites géographiques distants. La plateforme offre une large couverture de capacités via l'exportation de stockage multi-protocoles via NFS, Samba et iSCSI, ainsi qu'une gestion complète des volumes incluant des snapshots point-in-time, des quotas de stockage et une expansion élastique de la capacité. La sécurité est gérée via le chiffrement TLS pour les données en transit, l'intégration de la gestion des identités et un contrôle d'accès POSIX granulaire. Le logiciel est disponible sous forme de paquets binaires via des dépôts communautaires pour diverses distributions Linux.

LiteFS est un système de fichiers distribué basé sur FUSE conçu pour répliquer les bases de données SQLite sur un cluster de machines. Il fonctionne comme une couche de haute disponibilité qui synchronise les données en interceptant les opérations d'écriture pour assurer la cohérence sur plusieurs nœuds de serveur. Le système gère le stockage de base de données distribué en mappant les opérations de fichiers vers des requêtes réseau via un pilote en espace utilisateur. Cela permet la synchronisation des données multi-régions et la distribution du contenu de la base de données vers des nœuds en périphérie (edge nodes), facilitant les lectures locales avec des écritures globales synchronisées. Le processus de réplication utilise l'expédition de journaux d'écriture anticipée (write-ahead log shipping) et l'interception consciente des transactions pour diffuser les changements validés d'un nœud primaire vers des répliques de secours. Les nouvelles répliques sont initialisées via des instantanés (snapshots) avant de passer à la réplication incrémentielle des journaux.

Dynomite is a distributed data sharding layer and key-value storage engine proxy. It functions as a distribution layer that shards and replicates data across multiple nodes, transforming single-server datastores into scalable peer-to-peer systems. The system acts as a multi-datacenter data replicator, synchronizing data between different geographical locations to ensure resilience and high availability during site failures. It manages the distribution of key-value data to enable linear datastore scaling and redundant storage. The project provides capabilities for storage engine sharding and

Riak est un magasin clé-valeur NoSQL décentralisé conçu pour la haute disponibilité et la tolérance aux pannes. C'est une base de données distribuée de type Dynamo qui utilise le hachage cohérent et la cohérence éventuelle pour mettre à l'échelle les données sur un cluster de nœuds. Le système fonctionne comme un datastore géo-répliqué, synchronisant les données sur plusieurs emplacements physiques pour assurer la reprise après sinistre et maintenir la disponibilité lors de pannes régionales. Il emploie un modèle de réplication multi-maître, permettant des écritures sur n'importe quel nœud du cluster. La plateforme couvre de larges domaines de capacités, notamment la coordination de cluster décentralisée, la gestion de données à haute disponibilité et l'expiration de données à grande échelle. Elle gère la durabilité des données grâce à une cohérence basée sur le quorum et une vérification d'écriture, tout en utilisant des structures de données spécialisées pour fusionner automatiquement les mises à jour simultanées.