Awesome GitHub RepositoriesErasure Coding

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

CubeFS एक डिस्ट्रीब्यूटेड क्लाउड स्टोरेज सिस्टम है जिसे डेटा सेंटर्स और हाइब्रिड क्लाउड्स में फ़ाइल और ऑब्जेक्ट स्टोरेज को मैनेज करने के लिए डिज़ाइन किया गया है। यह एक मल्टी-टेनेंट डिस्ट्रीब्यूटेड फ़ाइल सिस्टम और ऑब्जेक्ट स्टोर के रूप में कार्य करता है जो असंरचित कंटेंट को स्टोर करने के लिए डिस्ट्रीब्यूटेड आर्किटेक्चर का उपयोग करके एक्साबाइट स्केल पर डेटा को हैंडल करने में सक्षम है। यह सिस्टम एक मल्टी-प्रोटोकॉल इंटरफ़ेस लेयर द्वारा अलग है जो S3, POSIX और HDFS इंटरफ़ेस के माध्यम से एक साथ डेटा एक्सेस की अनुमति देता है। यह प्रोसेसिंग और पर्सिस्टेंस को स्वतंत्र रूप से स्केल करने के लिए एक डिकपल्ड कंप्यूट-स्टोरेज आर्किटेक्चर का उपयोग करता है और विभिन्न टेनेंट्स के बीच संसाधनों और डेटा को अलग करने के लिए फाइन-ग्रेन्ड आइसोलेशन नीतियां लागू करता है। विश्वसनीयता को कॉन्फ़िगर करने योग्य रिडंडेंसी रणनीतियों के माध्यम से मैनेज किया जाता है, जिसमें मल्टी-रेप्लिका मिररिंग और इरेज़र कोडिंग शामिल हैं। प्लेटफ़ॉर्म में डेटा एक्सेस को तेज़ करने के लिए एक मल्टी-टियर कैशिंग सिस्टम शामिल है और यह पर्सिस्टेंट वॉल्यूम्स के प्रोविज़निंग को ऑटोमेट करने के लिए कंटेनर स्टोरेज इंटरफ़ेस ड्राइवर के माध्यम से Kubernetes के साथ इंटीग्रेट होता है।

YDB एक डिस्ट्रीब्यूटेड SQL डेटाबेस और एनालिटिकल इंजन है जिसे हॉरिजॉन्टल स्केलेबिलिटी और मजबूत स्थिरता के लिए डिज़ाइन किया गया है। यह एक मल्टी-मॉडल सिस्टम के रूप में कार्य करता है जो सीरियलाइज़ेबल ACID ट्रांजेक्शन प्रदान करने वाले डिस्ट्रीब्यूटेड आर्किटेक्चर के माध्यम से ट्रांजेक्शनल और एनालिटिकल वर्कलोड का समर्थन करता है। यह सिस्टम अपनी व्यापक प्रोटोकॉल संगतता द्वारा प्रतिष्ठित है, जो स्टैंडर्ड SQL ड्राइवर्स के लिए PostgreSQL वायर प्रोटोकॉल और मैसेजिंग और स्ट्रीमिंग के लिए Kafka प्रोटोकॉल को लागू करता है। यह आगे एक वेक्टर डेटाबेस के रूप में कार्य करता है, जो सिमेंटिक सर्च और एम्बेडिंग्स के लिए वेक्टर इंडेक्स और अनुमानित निकटतम पड़ोसी खोजों का समर्थन करता है। यह प्लेटफ़ॉर्म रो-ओरिएंटेड और कॉलम-ओरिएंटेड फॉर्मेट्स दोनों के साथ एक हाइब्रिड स्टोरेज मॉडल का उपयोग करके डेटा को मैनेज करता है, जो पेटाबाइट-स्केल एनालिटिक्स के लिए वेक्टरराइज़्ड क्वेरी निष्पादन का उपयोग करता है। इसकी परिचालन सतह में चेंज डेटा कैप्चर स्ट्रीमिंग, एक्जेक्टली-वन्स पर्सिस्टेंट क्यूज़ और मल्टी-ज़ोन उच्च उपलब्धता शामिल है। डिप्लॉयमेंट और लाइफसाइकिल मैनेजमेंट का समर्थन Kubernetes ऑपरेटर और इंफ्रास्ट्रक्चर-एज़-कोड प्रोविज़निंग के माध्यम से किया जाता है।