Awesome GitHub RepositoriesGeographic Data Replication

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.

LiteFS este un sistem de fișiere distribuit bazat pe FUSE, conceput pentru a replica bazele de date SQLite într-un cluster de mașini. Funcționează ca un strat de înaltă disponibilitate care sincronizează datele prin interceptarea operațiunilor de scriere pentru a asigura consistența între mai multe noduri de server. Sistemul gestionează stocarea distribuită a bazelor de date prin maparea operațiunilor de fișiere la cereri de rețea printr-un driver în user-space. Acest lucru permite sincronizarea datelor multi-regiune și distribuția conținutului bazei de date către nodurile edge, facilitând citiri locale cu scrieri globale sincronizate. Procesul de replicare utilizează write-ahead log shipping și interceptarea conștientă de tranzacții pentru a transmite modificările comise de la un nod primar către replici standby. Noile replici sunt inițializate prin snapshot-uri înainte de a trece la replicarea incrementală a log-urilor.

Dynomite este un strat de sharding de date distribuit și un proxy pentru motorul de stocare key-value. Acesta funcționează ca un strat de distribuție care fragmentează (shard) și replică datele pe mai multe noduri, transformând datastore-urile cu un singur server în sisteme peer-to-peer scalabile. Sistemul acționează ca un replicator de date multi-datacenter, sincronizând datele între diferite locații geografice pentru a asigura reziliența și disponibilitatea ridicată în timpul defecțiunilor site-ului. Gestionează distribuția datelor key-value pentru a permite scalarea liniară a datastore-ului și stocarea redundantă. Proiectul oferă capabilități pentru sharding-ul motorului de stocare și rețelistică de înaltă disponibilitate. Acesta rutează cererile primite către motoarele de stocare locale sau la distanță, menținând în același timp protocoalele de comunicare și securizând comunicarea între noduri prin criptare.

Riak este un magazin NoSQL de tip cheie-valoare descentralizat, conceput pentru disponibilitate ridicată și toleranță la erori. Este o bază de date distribuită de tip Dynamo care utilizează hashing consistent și consistență eventuală pentru a scala datele într-un cluster de noduri. Sistemul funcționează ca un datastore geo-replicat, sincronizând datele în mai multe locații fizice pentru a oferi recuperare în caz de dezastru și a menține disponibilitatea în timpul întreruperilor regionale. Utilizează un model de replicare multi-master, permițând scrieri către orice nod din cluster. Platforma acoperă domenii largi de capabilități, inclusiv coordonarea descentralizată a clusterelor, gestionarea datelor cu disponibilitate ridicată și expirarea datelor la scară largă. Gestionează durabilitatea datelor prin consistență bazată pe cvorum și verificare la scriere, utilizând totodată structuri de date specializate pentru a îmbina automat actualizările concurente.