Awesome GitHub RepositoriesDistributed Data Replication

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

Rook is a Kubernetes storage orchestrator and distributed storage operator that automates the deployment and management of storage clusters. It serves as a multi-protocol storage provider, offering block, file, and object storage capabilities to containerized workloads. The system focuses on providing a self-healing storage cluster that replicates data across hardware nodes to maintain availability and recover from failures. It uses an operator-led model to handle the installation, scaling, and upgrades of storage nodes and daemons. The orchestrator covers a broad range of provisioning servi

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

Fluvio este o platformă distribuită de streaming de evenimente și un motor de streaming cloud-native conceput pentru colectarea, persistența și replicarea fluxurilor de date în timp real într-un cluster distribuit. Funcționează ca un pipeline de date în timp real pentru construirea fluxurilor de lucru cu stare care ingerează, îmbogățesc și exportă date între surse și destinații externe. Platforma se distinge prin utilizarea WebAssembly pentru a executa module compilate pentru transformări și filtrare de date în linie. Acest lucru permite execuția logicii de business personalizate pentru a remodela informațiile în mișcare fără a necesita o repornire a clusterului. Sistemul acoperă o gamă largă de capabilități, inclusiv ingestia de date bazată pe conectori din protocoale externe, stocare imutabilă structurată pe log-uri cu IO de tip zero-copy și scalarea orizontală a clusterului. Suportă crearea de pipeline-uri complexe bazate pe evenimente care utilizează procesarea cu stare, agregări pe ferestre și distribuția datelor bazată pe partiții. Motorul poate fi implementat ca un binar ușor pe diverse arhitecturi de sistem, inclusiv dispozitive IoT ARM64 pentru procesarea datelor la margine (edge).

GlusterFS este un sistem de fișiere distribuit definit prin software și un cluster de stocare scale-out care agregă resursele de disc de la mai multe servere într-un singur namespace global. Funcționează ca o platformă de stocare unificată, permițând ca aceleași date subiacente să fie expuse prin interfețe de stocare de fișiere, bloc și obiect. Sistemul se distinge printr-o arhitectură descentralizată care utilizează hashing consistent pentru a distribui fișierele pe nodurile de rețea fără un server de metadate central. Asigură integritatea și disponibilitatea datelor folosind replicarea self-healing, consistența bazată pe cvorum pentru a preveni scenariile de split-brain și geo-replicarea asincronă pentru recuperarea în caz de dezastru în locații geografice îndepărtate. Platforma oferă o acoperire largă a capabilităților prin exportul de stocare multi-protocol via NFS, Samba și iSCSI, precum și gestionarea cuprinzătoare a volumelor, inclusiv snapshot-uri point-in-time, cote de stocare și expansiunea elastică a capacității. Securitatea este gestionată prin criptare TLS pentru datele în tranzit, integrarea gestionării identității și controlul granular al accesului POSIX. Software-ul este disponibil ca pachete binare prin repository-urile comunității pentru diverse distribuții Linux.

m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi

Iggy este o platformă distribuită de streaming de mesaje și un broker de mesaje multi-protocol care funcționează ca un magazin de log-uri distribuite persistente. Oferă infrastructură pentru publicarea și consumarea mesajelor binare folosind un log de tip append-only, asigurând disponibilitate ridicată și consistența datelor între noduri prin Viewstamped Replication. Platforma se distinge prin infrastructura sa specializată de streaming pentru LLM-uri, care utilizează un protocol de server pentru a conecta modelele de limbaj mari la datele de streaming și la controalele sistemului. Aceasta include protocoale standardizate pentru gestionarea contextului și bridging-ul datelor prin HTTP sau input-output standard. Sistemul acoperă un set larg de capabilități, inclusiv orchestrarea pipeline-urilor de date cu plugin-uri modulare de sursă și destinație, coordonarea grupurilor de consumatori pentru scalare orizontală și suport pentru transport multi-protocol prin TCP, QUIC, HTTP și WebSocket. De asemenea, încorporează primitive de securitate precum criptarea AES-256-GCM pentru datele stocate și în tranzit, și oferă observabilitate prin metrici Prometheus, tracing OpenTelemetry și un dashboard web operațional. Serverul poate fi implementat folosind imagini de container și orchestrat prin Kubernetes.

Dynomite este un strat de sharding de date distribuit și un proxy pentru motorul de stocare key-value. Acesta funcționează ca un strat de distribuție care fragmentează (shard) și replică datele pe mai multe noduri, transformând datastore-urile cu un singur server în sisteme peer-to-peer scalabile. Sistemul acționează ca un replicator de date multi-datacenter, sincronizând datele între diferite locații geografice pentru a asigura reziliența și disponibilitatea ridicată în timpul defecțiunilor site-ului. Gestionează distribuția datelor key-value pentru a permite scalarea liniară a datastore-ului și stocarea redundantă. Proiectul oferă capabilități pentru sharding-ul motorului de stocare și rețelistică de înaltă disponibilitate. Acesta rutează cererile primite către motoarele de stocare locale sau la distanță, menținând în același timp protocoalele de comunicare și securizând comunicarea între noduri prin criptare.

go-fastdfs este un sistem de fișiere distribuit și un server de stocare de obiecte conceput pentru construirea de stocare în cloud privat. Oferă o implementare de stocare compatibilă cu FastDFS care gestionează clustere de noduri de stocare pentru a gestiona încărcări și descărcări de fișiere la scară largă. Sistemul se concentrează pe disponibilitate ridicată printr-o arhitectură descentralizată care sincronizează automat datele și repară defecțiunile între mai multe mașini fără un coordonator central. Suportă în mod specific stocarea fișierelor cu reluare prin HTTP, permițând transferurilor mari să fie întrerupte și reluate de la ultimul octet reușit pentru a gestiona instabilitatea rețelei. Capabilitățile de bază includ optimizarea resurselor de stocare prin deduplicarea conținutului bazată pe SHA1 și îmbinarea fișierelor mici pentru a reduce consumul de inode-uri al sistemului de fișiere. Proiectul încorporează, de asemenea, un pipeline de procesare a imaginilor care efectuează scalarea și redimensionarea dinamică a imaginilor în timpul procesului de descărcare și securizează accesul la fișiere folosind autentificarea bazată pe token-uri. Sistemul poate fi implementat prin containere Docker.

Olric is a distributed data grid and in-memory key-value store that partitions and replicates data across a cluster of servers. It serves as a shared memory system for managing distributed maps, performing atomic operations, and acting as an in-memory data cache. The system provides a distributed locking mechanism for concurrency control and a pub-sub messaging system that broadcasts and routes messages over named channels across the cluster. The platform covers wide-ranging capabilities including cluster management and orchestration, data replication with configurable quorums, and automated

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa