Awesome GitHub RepositoriesDistributed Object Stores

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

SeaweedFS is a distributed object store and high-performance file system designed to manage massive volumes of unstructured data. It utilizes a decoupled architecture that separates metadata management from raw data storage, allowing for independent scalability and the efficient handling of billions of files. By providing a POSIX-compliant interface, it enables applications to interact with a unified namespace while maintaining the performance characteristics of a distributed object store. The system distinguishes itself through a multi-region data fabric that supports active-active replicati

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

CubeFS este un sistem de stocare distribuit în cloud, conceput pentru gestionarea stocării de fișiere și obiecte în centre de date și cloud-uri hibride. Funcționează ca un sistem de fișiere distribuit multi-tenant și un magazin de obiecte capabil să gestioneze date la scară de exabytes, utilizând o arhitectură distribuită pentru a stoca conținut nestructurat. Sistemul se distinge printr-un strat de interfață multi-protocol care permite accesul simultan la date prin interfețele S3, POSIX și HDFS. Utilizează o arhitectură decuplată de calcul-stocare pentru a scala procesarea și persistența independent și implementează politici de izolare granulară pentru a separa resursele și datele între diferiți chiriași. Fiabilitatea este gestionată prin strategii de redundanță configurabile, inclusiv oglindirea multi-replică și erasure coding. Platforma include un sistem de caching pe mai multe niveluri pentru a accelera accesul la date și se integrează cu Kubernetes prin intermediul unui driver Container Storage Interface pentru a automatiza provizionarea volumelor persistente.

Mooncake este o platformă de servire a modelelor de limbaj mari (LLM) dezagregate și un magazin distribuit de tip cheie-valoare, conceput pentru infrastructura de inferență de înaltă performanță. Funcționează ca un orchestrator de memorie GPU și sistem de gestionare a cache-ului KV care grupează și transferă cache-urile cheie-valoare între clustere pentru a accelera inferența. Sistemul se distinge prin separarea fazelor de prefill și decode ale inferenței în clustere hardware distincte pentru a optimiza utilizarea resurselor. Utilizează un cache distribuit RDMA de înaltă performanță cu transferuri zero-copy pentru a muta datele între nodurile de calcul, ocolind CPU-ul pentru a reduce latența și overhead-ul. Platforma acoperă domenii largi de capabilități, inclusiv gruparea memoriei distribuite, rutarea memoriei acceleratorului prin CXL și descărcarea stocării pe mai multe niveluri către SSD-uri. Gestionează starea clusterului prin servicii de coordonare a metadatelor și implementează guvernanța resurselor prin protecția obiectelor bazată pe lease și evacuarea cache-ului bazată pe watermark. Software-ul este împachetat pentru deployment containerizat cu suport pentru rețelistică host și maparea dispozitivelor hardware.

FastStream is an asyncio message broker framework for building event-driven applications in Python. It provides a unified interface and a multi-broker messaging abstraction layer that translates generic producer and consumer calls into broker-specific APIs. The framework features a built-in dependency injection container and uses decorators to route messages to asynchronous handler functions. It includes a documentation generator that extracts channel definitions and message formats from code to produce standardized AsyncAPI specifications. The project supports integration with Kafka, Rabbit