Awesome GitHub RepositoriesDistributed Data Replication

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

Rook is a Kubernetes storage orchestrator and distributed storage operator that automates the deployment and management of storage clusters. It serves as a multi-protocol storage provider, offering block, file, and object storage capabilities to containerized workloads. The system focuses on providing a self-healing storage cluster that replicates data across hardware nodes to maintain availability and recover from failures. It uses an operator-led model to handle the installation, scaling, and upgrades of storage nodes and daemons. The orchestrator covers a broad range of provisioning servi

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

Fluvio एक वितरित इवेंट स्ट्रीमिंग प्लेटफ़ॉर्म और क्लाउड-नेटिव स्ट्रीमिंग इंजन है जिसे वितरित क्लस्टर में रीयल-टाइम डेटा स्ट्रीम को एकत्र करने, बनाए रखने और दोहराने के लिए डिज़ाइन किया गया है। यह बाहरी स्रोतों और सिंक के बीच डेटा को इनजेस्ट, समृद्ध और निर्यात करने वाले स्टेटफ़ुल वर्कफ़्लो बनाने के लिए रीयल-टाइम डेटा पाइपलाइन के रूप में कार्य करता है। यह प्लेटफ़ॉर्म इन-लाइन डेटा परिवर्तनों और फ़िल्टरिंग के लिए संकलित मॉड्यूल को निष्पादित करने के लिए WebAssembly के उपयोग से प्रतिष्ठित है। यह क्लस्टर को पुनरारंभ करने की आवश्यकता के बिना जानकारी को फिर से आकार देने के लिए कस्टम व्यावसायिक तर्क के निष्पादन की अनुमति देता है। सिस्टम बाहरी प्रोटोकॉल से कनेक्टर-आधारित डेटा इंजेक्शन, ज़ीरो-कॉपी IO के साथ लॉग-स्ट्रक्चर्ड अपरिवर्तनीय भंडारण और क्षैतिज क्लस्टर स्केलिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह जटिल इवेंट-संचालित पाइपलाइनों के निर्माण का समर्थन करता है जो स्टेटफ़ुल प्रोसेसिंग, विंडो-आधारित एकत्रीकरण और विभाजन-आधारित डेटा वितरण का उपयोग करते हैं। इंजन को एज डेटा प्रोसेसिंग के लिए ARM64 IoT उपकरणों सहित विविध सिस्टम आर्किटेक्चर पर एक हल्के बाइनरी के रूप में तैनात किया जा सकता है।

GlusterFS एक सॉफ़्टवेयर-परिभाषित वितरित फ़ाइल सिस्टम और स्केल-आउट स्टोरेज क्लस्टर है जो कई सर्वरों से डिस्क संसाधनों को एक एकल वैश्विक नेमस्पेस में एकत्रित करता है। यह एक एकीकृत स्टोरेज प्लेटफ़ॉर्म के रूप में कार्य करता है, जो समान अंतर्निहित डेटा को फ़ाइल, ब्लॉक और ऑब्जेक्ट स्टोरेज इंटरफेस के माध्यम से उजागर करने की अनुमति देता है। सिस्टम एक विकेंद्रीकृत आर्किटेक्चर के माध्यम से खुद को अलग करता है जो केंद्रीय मेटाडेटा सर्वर के बिना नेटवर्क नोड्स पर फ़ाइलों को वितरित करने के लिए सुसंगत हैशिंग का उपयोग करता है। यह डेटा अखंडता और उपलब्धता सुनिश्चित करने के लिए सेल्फ-हीलिंग प्रतिकृति, स्प्लिट-ब्रेन परिदृश्यों को रोकने के लिए कोरम-आधारित स्थिरता, और दूरस्थ भौगोलिक साइटों पर आपदा रिकवरी के लिए एसिंक्रोनस भू-प्रतिकृति का उपयोग करता है। प्लेटफ़ॉर्म NFS, Samba और iSCSI के माध्यम से मल्टी-प्रोटोकॉल स्टोरेज निर्यात, और पॉइंट-इन-टाइम स्नैपशॉट, स्टोरेज कोटा और इलास्टिक क्षमता विस्तार सहित व्यापक वॉल्यूम प्रबंधन के साथ व्यापक क्षमता कवरेज प्रदान करता है। सुरक्षा को डेटा इन-ट्रांजिट के लिए TLS एन्क्रिप्शन, पहचान प्रबंधन एकीकरण, और दानेदार POSIX एक्सेस कंट्रोल के माध्यम से संभाला जाता है। सॉफ़्टवेयर विभिन्न Linux वितरणों के लिए सामुदायिक रिपॉजिटरी के माध्यम से बाइनरी पैकेज के रूप में उपलब्ध है।

m3 उच्च-रिज़ॉल्यूशन मेट्रिक्स और उच्च-कार्डिनैलिटी डेटा प्रबंधन के लिए डिज़ाइन किया गया एक वितरित टाइम सीरीज़ डेटाबेस है। यह एक स्केलेबल स्टोरेज सिस्टम और मल्टी-क्लस्टर क्वेरी इंजन के रूप में कार्य करता है, जो स्टोरेज में कमिट होने से पहले डेटा को डाउनसैंपल और सारांशित करने में सक्षम एक वितरित मेट्रिक्स एग्रीगेटर प्रदान करता है। यह प्रोजेक्ट नोड मेंबरशिप और शार्ड प्लेसमेंट के लिए etcd का उपयोग करके एक समन्वित क्लस्टर मॉडल के माध्यम से खुद को अलग करता है। यह Prometheus रिमोट राइट प्रोटोकॉल, InfluxDB लाइन प्रोटोकॉल और Graphite Carbon प्लेनटेक्स्ट प्रोटोकॉल सहित कई इंजेक्शन प्रोटोकॉल का समर्थन करता है, और PromQL व Graphite के लिए संगत क्वेरी इंटरफेस प्रदान करता है। यह सिस्टम कॉलम-आधारित टाइम सीरीज़ स्टोरेज, सिंक्रोनस डेटा रेप्लिकेशन और वितरित क्वेरी फैन-आउट सहित व्यापक क्षमता क्षेत्रों को कवर करता है। इसमें डेटा लाइफसाइकिल ऑटोमेशन, कोरम-आधारित कंसिस्टेंसी ट्यूनिंग और अलग-अलग नेमस्पेस में डेटा अखंडता व पुनर्प्राप्ति गति बनाए रखने के लिए टैग-आधारित सीरीज़ इंडेक्सिंग शामिल है। क्लस्टर ऑर्केस्ट्रेशन और कंपोनेंट प्लेसमेंट को उच्च उपलब्धता और संतुलित डेटा वितरण सुनिश्चित करने के लिए ऑटोमेटेड टूल्स और ऑपरेटर्स के माध्यम से प्रबंधित किया जाता है।

Iggy एक वितरित संदेश स्ट्रीमिंग प्लेटफ़ॉर्म और मल्टी-प्रोटोकॉल संदेश ब्रोकर है जो एक पर्सिस्टेंट वितरित लॉग स्टोर के रूप में कार्य करता है। यह एक अपेंड-ओनली लॉग का उपयोग करके बाइनरी संदेशों को प्रकाशित करने और उपभोग करने के लिए बुनियादी ढांचा प्रदान करता है, जो Viewstamped Replication के माध्यम से नोड्स में उच्च उपलब्धता और डेटा स्थिरता सुनिश्चित करता है। यह प्लेटफ़ॉर्म अपने विशेष LLM स्ट्रीमिंग बुनियादी ढांचे द्वारा प्रतिष्ठित है, जो बड़े भाषा मॉडल को स्ट्रीमिंग डेटा और सिस्टम नियंत्रण से जोड़ने के लिए एक सर्वर प्रोटोकॉल का उपयोग करता है। इसमें HTTP या मानक इनपुट-आउटपुट के माध्यम से संदर्भ प्रबंधन और डेटा ब्रिजिंग के लिए मानकीकृत प्रोटोकॉल शामिल हैं। यह सिस्टम मॉड्यूलर सोर्स और सिंक प्लगइन्स के साथ डेटा पाइपलाइन ऑर्केस्ट्रेशन, क्षैतिज स्केलिंग के लिए उपभोक्ता समूह समन्वय, और TCP, QUIC, HTTP और WebSocket पर मल्टी-प्रोटोकॉल ट्रांसपोर्ट समर्थन सहित क्षमताओं के एक व्यापक सेट को कवर करता है। इसमें डेटा को सुरक्षित रखने और पारगमन के दौरान AES-256-GCM एन्क्रिप्शन जैसी सुरक्षा प्रिमिटिव्स भी शामिल हैं, और Prometheus मेट्रिक्स, OpenTelemetry ट्रेसिंग और एक परिचालन वेब डैशबोर्ड के माध्यम से अवलोकन क्षमता प्रदान करता है। सर्वर को कंटेनर इमेज का उपयोग करके तैनात किया जा सकता है और Kubernetes के माध्यम से ऑर्केस्ट्रेट किया जा सकता है।

Dynomite is a distributed data sharding layer and key-value storage engine proxy. It functions as a distribution layer that shards and replicates data across multiple nodes, transforming single-server datastores into scalable peer-to-peer systems. The system acts as a multi-datacenter data replicator, synchronizing data between different geographical locations to ensure resilience and high availability during site failures. It manages the distribution of key-value data to enable linear datastore scaling and redundant storage. The project provides capabilities for storage engine sharding and

go-fastdfs एक वितरित फ़ाइल सिस्टम और ऑब्जेक्ट स्टोरेज सर्वर है जिसे निजी क्लाउड स्टोरेज बनाने के लिए डिज़ाइन किया गया है। यह एक FastDFS संगत स्टोरेज कार्यान्वयन प्रदान करता है जो बड़े पैमाने पर फ़ाइल अपलोड और डाउनलोड को संभालने के लिए स्टोरेज नोड्स के क्लस्टर का प्रबंधन करता है। सिस्टम एक विकेंद्रीकृत आर्किटेक्चर के माध्यम से उच्च उपलब्धता पर केंद्रित है जो स्वचालित रूप से डेटा को सिंक्रनाइज़ करता है और बिना किसी केंद्रीय समन्वयक के कई मशीनों पर विफलताओं की मरम्मत करता है। यह विशेष रूप से HTTP के माध्यम से रिज़्यूमेबल फ़ाइल स्टोरेज का समर्थन करता है, जिससे नेटवर्क अस्थिरता को संभालने के लिए बड़े ट्रांसफ़र को अंतिम सफल बाइट से रोका और फिर से शुरू किया जा सकता है। मुख्य क्षमताओं में SHA1-आधारित कंटेंट डुप्लीकेशन के माध्यम से स्टोरेज संसाधन ऑप्टिमाइज़ेशन और फ़ाइलसिस्टम इनोड खपत को कम करने के लिए छोटी फ़ाइलों को मर्ज करना शामिल है। प्रोजेक्ट में एक इमेज प्रोसेसिंग पाइपलाइन भी शामिल है जो डाउनलोड प्रक्रिया के दौरान छवियों की गतिशील स्केलिंग और रिसाइज़िंग करती है और टोकन-आधारित प्रमाणीकरण का उपयोग करके फ़ाइल एक्सेस को सुरक्षित करती है। सिस्टम को Docker कंटेनरों के माध्यम से तैनात किया जा सकता है।

Olric is a distributed data grid and in-memory key-value store that partitions and replicates data across a cluster of servers. It serves as a shared memory system for managing distributed maps, performing atomic operations, and acting as an in-memory data cache. The system provides a distributed locking mechanism for concurrency control and a pub-sub messaging system that broadcasts and routes messages over named channels across the cluster. The platform covers wide-ranging capabilities including cluster management and orchestration, data replication with configurable quorums, and automated

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa