Awesome GitHub RepositoriesInter-Node Data Synchronization

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

CouchDB एक NoSQL दस्तावेज़ डेटाबेस है जो डेटा को लचीले दस्तावेज़ों के रूप में संग्रहीत करता है और HTTP पर डेटा प्रबंधन के लिए एक RESTful API को उजागर करता है। यह एक वितरित दस्तावेज़ स्टोर के रूप में कार्य करता है, जो उच्च उपलब्धता और स्थिरता सुनिश्चित करने के लिए कई नोड्स में डेटा को सिंक्रनाइज़ और रेप्लिकेट करता है। सिस्टम में एक फुल-टेक्स्ट सर्च इंजन शामिल है जो डेटाबेस रिकॉर्ड को क्वेरी करने योग्य दस्तावेज़ों में बदल देता है, जो सॉर्टिंग और पेजिनेशन का समर्थन करता है। डेटा सिंक्रोनाइज़ेशन मल्टी-मास्टर रेप्लिकेशन के माध्यम से संभाला जाता है, जो वितरित नोड्स में स्थिरता बनाए रखने के लिए संशोधन इतिहास का आदान-प्रदान करता है। डेटाबेस मल्टी-वर्जन कॉनकरेंसी कंट्रोल का उपयोग करता है ताकि लॉक के बिना एक साथ पढ़ने और लिखने की अनुमति मिल सके। स्टोरेज को क्रैश रिकवरी और कुशल डिस्क-आधारित लुकअप की सुविधा के लिए केवल-अपेंड और B-ट्री आधारित संरचनाओं के माध्यम से प्रबंधित किया जाता है।

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Simple flow library 🖥️🖱️

Kvrocks एक वितरित की-वैल्यू स्टोर और Redis-संगत NoSQL डेटाबेस है। यह डिस्क-आधारित पर्सिस्टेंस प्रदान करने के लिए RocksDB स्टोरेज इंजन का उपयोग करता है, जो इन-मेमोरी सिस्टम की तुलना में कम मेमोरी लागत के साथ उच्च-क्षमता वाले डेटा स्टोरेज की अनुमति देता है। यह सिस्टम एक वेक्टर डेटाबेस और फुल-टेक्स्ट सर्च इंजन के रूप में कार्य करता है, जो वेक्टर एम्बेडिंग पर नियरेस्ट-नेबर सर्च और टेक्स्ट मैचिंग के माध्यम से जटिल दस्तावेज़ क्वेरी का समर्थन करता है। यह डेटा वितरित करने और कई नोड्स में क्षमता को स्केल करने के लिए स्लॉट-आधारित रूटिंग के साथ एक प्रॉक्सीलेस क्लस्टर आर्किटेक्चर का उपयोग करता है। यह प्लेटफॉर्म JSON दस्तावेज़ प्रबंधन, टाइम-सीरीज़ डेटा और रीयल-टाइम स्ट्रीम प्रोसेसिंग सहित डेटा प्रबंधन क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह जियोस्पेशियल क्वेरीइंग, सेकेंडरी इंडेक्सिंग और क्वेरी प्लान विश्लेषण के माध्यम से उन्नत सर्च और इंडेक्सिंग प्रदान करता है, साथ ही मेमोरी-कुशल कार्डिनैलिटी और सदस्यता अनुमान के लिए संभाव्य डेटा स्केचिंग प्रदान करता है। अतिरिक्त परिचालन सुविधाओं में परमाणु लेनदेन, पब/सब मैसेजिंग और मल्टी-टेनेंट वातावरण के लिए नेमस्पेस डेटा आइसोलेशन शामिल है।

go-fastdfs एक वितरित फ़ाइल सिस्टम और ऑब्जेक्ट स्टोरेज सर्वर है जिसे निजी क्लाउड स्टोरेज बनाने के लिए डिज़ाइन किया गया है। यह एक FastDFS संगत स्टोरेज कार्यान्वयन प्रदान करता है जो बड़े पैमाने पर फ़ाइल अपलोड और डाउनलोड को संभालने के लिए स्टोरेज नोड्स के क्लस्टर का प्रबंधन करता है। सिस्टम एक विकेंद्रीकृत आर्किटेक्चर के माध्यम से उच्च उपलब्धता पर केंद्रित है जो स्वचालित रूप से डेटा को सिंक्रनाइज़ करता है और बिना किसी केंद्रीय समन्वयक के कई मशीनों पर विफलताओं की मरम्मत करता है। यह विशेष रूप से HTTP के माध्यम से रिज़्यूमेबल फ़ाइल स्टोरेज का समर्थन करता है, जिससे नेटवर्क अस्थिरता को संभालने के लिए बड़े ट्रांसफ़र को अंतिम सफल बाइट से रोका और फिर से शुरू किया जा सकता है। मुख्य क्षमताओं में SHA1-आधारित कंटेंट डुप्लीकेशन के माध्यम से स्टोरेज संसाधन ऑप्टिमाइज़ेशन और फ़ाइलसिस्टम इनोड खपत को कम करने के लिए छोटी फ़ाइलों को मर्ज करना शामिल है। प्रोजेक्ट में एक इमेज प्रोसेसिंग पाइपलाइन भी शामिल है जो डाउनलोड प्रक्रिया के दौरान छवियों की गतिशील स्केलिंग और रिसाइज़िंग करती है और टोकन-आधारित प्रमाणीकरण का उपयोग करके फ़ाइल एक्सेस को सुरक्षित करती है। सिस्टम को Docker कंटेनरों के माध्यम से तैनात किया जा सकता है।

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

sofa-jraft is a Java implementation of the Raft consensus algorithm. It serves as a distributed consensus engine and linearizable state machine designed to ensure high availability and data consistency across a cluster of nodes. The project provides a replicated key-value store and a coordination engine for managing distributed state. It distinguishes itself through support for multi-group consensus sharding to distribute traffic and a service provider interface that allows for custom log storage and entry encoding implementations. The system covers a wide range of distributed capabilities,