Awesome GitHub RepositoriesGeographic Data Replication

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

GlusterFS ist ein softwaredefiniertes verteiltes Dateisystem und Scale-Out-Storage-Cluster, das Festplattenressourcen von mehreren Servern in einem einzigen globalen Namensraum aggregiert. Es fungiert als vereinheitlichte Speicherplattform, die es ermöglicht, dieselben zugrunde liegenden Daten über Datei-, Block- und Objektspeicherschnittstellen bereitzustellen. Das System zeichnet sich durch eine dezentrale Architektur aus, die konsistentes Hashing verwendet, um Dateien über Netzwerkknoten hinweg ohne zentralen Metadaten-Server zu verteilen. Es stellt Datenintegrität und -verfügbarkeit durch selbstheilende Replikation, Quorum-basierte Konsistenz zur Vermeidung von Split-Brain-Szenarien sowie asynchrone Geo-Replikation für die Notfallwiederherstellung über entfernte geografische Standorte hinweg sicher. Die Plattform bietet eine breite Abdeckung von Funktionen über Multi-Protokoll-Speicherexport via NFS, Samba und iSCSI sowie umfassende Volume-Verwaltung, einschließlich Point-in-Time-Snapshots, Speicherkontingenten und elastischer Kapazitätserweiterung. Die Sicherheit wird durch TLS-Verschlüsselung für Daten während der Übertragung, Identitätsmanagement-Integration und granulare POSIX-Zugriffskontrolle gehandhabt. Die Software ist als Binärpakete über Community-Repositories für verschiedene Linux-Distributionen verfügbar.

LiteFS ist ein FUSE-basiertes verteiltes Dateisystem, das für die Replikation von SQLite-Datenbanken über einen Cluster von Maschinen hinweg entwickelt wurde. Es fungiert als Hochverfügbarkeitsschicht, die Daten durch das Abfangen von Schreiboperationen synchronisiert, um Konsistenz über mehrere Serverknoten hinweg zu gewährleisten. Das System verwaltet verteilte Datenbankspeicherung durch das Mapping von Dateioperationen auf Netzwerkanfragen mittels eines User-Space-Treibers. Dies ermöglicht eine regionsübergreifende Datensynchronisation und die Verteilung von Datenbankinhalten auf Edge-Knoten, was lokale Lesezugriffe bei synchronisierten globalen Schreibvorgängen erleichtert. Der Replikationsprozess nutzt Write-Ahead-Log-Shipping und transaktionsbewusstes Abfangen, um übermittelte Änderungen von einem Primärknoten an Standby-Replikate zu streamen. Neue Replikate werden durch Snapshot-basierte Initialisierung gebootstrapt, bevor sie zur inkrementellen Log-Replikation übergehen.

Dynomite ist eine verteilte Datensharding-Schicht und ein Key-Value-Speicher-Engine-Proxy. Es fungiert als Verteilungsschicht, die Daten über mehrere Knoten hinweg sharded und repliziert und so Single-Server-Datenspeicher in skalierbare Peer-to-Peer-Systeme umwandelt. Das System agiert als Multi-Datacenter-Datenreplikator, der Daten zwischen verschiedenen geografischen Standorten synchronisiert, um Ausfallsicherheit und hohe Verfügbarkeit bei Standortausfällen zu gewährleisten. Es verwaltet die Verteilung von Key-Value-Daten, um eine lineare Skalierung des Datenspeichers und redundante Speicherung zu ermöglichen. Das Projekt bietet Funktionen für Storage-Engine-Sharding und Hochverfügbarkeits-Networking. Es leitet eingehende Anfragen an lokale oder entfernte Speicher-Engines weiter, während es Kommunikationsprotokolle aufrechterhält und die Inter-Node-Kommunikation durch Verschlüsselung sichert.

Riak ist ein dezentraler NoSQL-Key-Value-Store, der für hohe Verfügbarkeit und Fehlertoleranz entwickelt wurde. Es handelt sich um eine verteilte Datenbank im Dynamo-Stil, die konsistentes Hashing und Eventual Consistency nutzt, um Daten über einen Cluster von Knoten zu skalieren. Das System fungiert als geo-replizierter Datenspeicher, der Daten über mehrere physische Standorte hinweg synchronisiert, um Disaster Recovery zu ermöglichen und die Verfügbarkeit bei regionalen Ausfällen aufrechtzuerhalten. Es verwendet ein Multi-Master-Replikationsmodell, das Schreibvorgänge auf jedem Knoten im Cluster erlaubt. Die Plattform deckt breite Funktionsbereiche ab, einschließlich dezentraler Cluster-Koordinierung, hochverfügbarer Datenverwaltung und großskaliger Datenablaufsteuerung. Sie verwaltet die Datenbeständigkeit durch quorum-basierte Konsistenz und Schreibverifizierung, während sie spezialisierte Datenstrukturen verwendet, um gleichzeitige Updates automatisch zusammenzuführen.