Awesome GitHub RepositoriesData Access Protocols

SeaweedFS is a distributed object store and high-performance file system designed to manage massive volumes of unstructured data. It utilizes a decoupled architecture that separates metadata management from raw data storage, allowing for independent scalability and the efficient handling of billions of files. By providing a POSIX-compliant interface, it enables applications to interact with a unified namespace while maintaining the performance characteristics of a distributed object store. The system distinguishes itself through a multi-region data fabric that supports active-active replicati

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

CubeFS este un sistem de stocare distribuit în cloud, conceput pentru gestionarea stocării de fișiere și obiecte în centre de date și cloud-uri hibride. Funcționează ca un sistem de fișiere distribuit multi-tenant și un magazin de obiecte capabil să gestioneze date la scară de exabytes, utilizând o arhitectură distribuită pentru a stoca conținut nestructurat. Sistemul se distinge printr-un strat de interfață multi-protocol care permite accesul simultan la date prin interfețele S3, POSIX și HDFS. Utilizează o arhitectură decuplată de calcul-stocare pentru a scala procesarea și persistența independent și implementează politici de izolare granulară pentru a separa resursele și datele între diferiți chiriași. Fiabilitatea este gestionată prin strategii de redundanță configurabile, inclusiv oglindirea multi-replică și erasure coding. Platforma include un sistem de caching pe mai multe niveluri pentru a accelera accesul la date și se integrează cu Kubernetes prin intermediul unui driver Container Storage Interface pentru a automatiza provizionarea volumelor persistente.