Awesome GitHub RepositoriesErasure Coding

MinIO is a software-defined, cloud-native object storage server designed to manage large volumes of unstructured data. It functions as a distributed storage cluster that aggregates multiple independent nodes into a unified, scalable pool, providing a high-performance infrastructure compatible with standard cloud storage protocols and application programming interfaces. The system utilizes a shared-nothing architecture that eliminates central metadata servers, relying instead on a decentralized hash table to map objects across the cluster. Data availability and resilience are maintained throug

Rustfs is a distributed object storage system designed for high availability and horizontal scalability. It functions as a cluster-based platform that manages data across multiple nodes, providing a self-hosted infrastructure for large-scale storage requirements. The system is built to be container-native, utilizing an operator to automate deployment and management within orchestrated environments. It provides compatibility with standard object storage protocols, allowing existing applications and tools to interact with the storage layer through a translation interface. To ensure long-term re

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

CubeFS este un sistem de stocare distribuit în cloud, conceput pentru gestionarea stocării de fișiere și obiecte în centre de date și cloud-uri hibride. Funcționează ca un sistem de fișiere distribuit multi-tenant și un magazin de obiecte capabil să gestioneze date la scară de exabytes, utilizând o arhitectură distribuită pentru a stoca conținut nestructurat. Sistemul se distinge printr-un strat de interfață multi-protocol care permite accesul simultan la date prin interfețele S3, POSIX și HDFS. Utilizează o arhitectură decuplată de calcul-stocare pentru a scala procesarea și persistența independent și implementează politici de izolare granulară pentru a separa resursele și datele între diferiți chiriași. Fiabilitatea este gestionată prin strategii de redundanță configurabile, inclusiv oglindirea multi-replică și erasure coding. Platforma include un sistem de caching pe mai multe niveluri pentru a accelera accesul la date și se integrează cu Kubernetes prin intermediul unui driver Container Storage Interface pentru a automatiza provizionarea volumelor persistente.

YDB este o bază de date SQL distribuită și un motor analitic conceput pentru scalabilitate orizontală și consistență puternică. Funcționează ca un sistem multi-model care suportă workload-uri tranzacționale și analitice printr-o arhitectură distribuită care oferă tranzacții ACID serializabile. Sistemul se distinge prin compatibilitatea sa largă cu protocoalele, implementând protocolul PostgreSQL pentru driverele SQL standard și protocolul Kafka pentru mesagerie și streaming. Servește, de asemenea, ca o bază de date vectorială, suportând indecși vectoriali și căutări de tip approximate nearest neighbor pentru căutări semantice și embeddings. Platforma gestionează datele folosind un model de stocare hibrid cu formate orientate pe rânduri și pe coloane, utilizând execuția interogărilor vectorizate pentru analize la scară de petabytes. Suprafața sa operațională include streaming de tip change data capture, cozi persistente de tip exactly-once și disponibilitate ridicată multi-zonă. Deployment-ul și gestionarea ciclului de viață sunt susținute printr-un operator Kubernetes și provizionarea de tip infrastructure-as-code.