Awesome GitHub RepositoriesInter-Node Data Synchronization

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

CouchDB is a NoSQL document database that stores data as flexible documents and exposes a RESTful API for data management over HTTP. It functions as a distributed document store, synchronizing and replicating data across multiple nodes to ensure high availability and consistency. The system includes a full-text search engine that transforms database records into queryable documents, supporting sorting and pagination. Data synchronization is handled via multi-master replication, which exchanges revision histories to maintain consistency across distributed nodes. The database utilizes multi-ve

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Simple flow library 🖥️🖱️

Kvrocks este un magazin distribuit de tip cheie-valoare și o bază de date NoSQL compatibilă cu Redis. Utilizează un motor de stocare RocksDB pentru a oferi persistență pe disc, permițând stocarea datelor de mare capacitate cu costuri de memorie reduse comparativ cu sistemele in-memory. Sistemul funcționează ca o bază de date vectorială și un motor de căutare full-text, suportând căutări de tip nearest-neighbor pe embedding-uri vectoriale și interogări complexe de documente prin potrivirea textului. Utilizează o arhitectură de cluster fără proxy, cu rutare bazată pe sloturi, pentru a distribui datele și a scala capacitatea pe mai multe noduri. Platforma acoperă o gamă largă de capabilități de gestionare a datelor, inclusiv gestionarea documentelor JSON, date de tip time-series și procesarea fluxurilor în timp real. Oferă căutare și indexare avansată prin interogări geospațiale, indexare secundară și analiza planurilor de interogare, oferind în același timp tehnici de sketching probabilistic pentru estimarea eficientă a cardinalității și a apartenenței. Funcționalitățile operaționale suplimentare includ tranzacții atomice, mesagerie pub/sub și izolarea datelor pe namespace-uri pentru medii multi-tenant.

go-fastdfs este un sistem de fișiere distribuit și un server de stocare de obiecte conceput pentru construirea de stocare în cloud privat. Oferă o implementare de stocare compatibilă cu FastDFS care gestionează clustere de noduri de stocare pentru a gestiona încărcări și descărcări de fișiere la scară largă. Sistemul se concentrează pe disponibilitate ridicată printr-o arhitectură descentralizată care sincronizează automat datele și repară defecțiunile între mai multe mașini fără un coordonator central. Suportă în mod specific stocarea fișierelor cu reluare prin HTTP, permițând transferurilor mari să fie întrerupte și reluate de la ultimul octet reușit pentru a gestiona instabilitatea rețelei. Capabilitățile de bază includ optimizarea resurselor de stocare prin deduplicarea conținutului bazată pe SHA1 și îmbinarea fișierelor mici pentru a reduce consumul de inode-uri al sistemului de fișiere. Proiectul încorporează, de asemenea, un pipeline de procesare a imaginilor care efectuează scalarea și redimensionarea dinamică a imaginilor în timpul procesului de descărcare și securizează accesul la fișiere folosind autentificarea bazată pe token-uri. Sistemul poate fi implementat prin containere Docker.

Godis is a distributed in-memory database engine written in Go that provides a high-performance, Redis-compatible key-value store. It is designed to manage complex data structures while supporting atomic transactions, data persistence, and real-time messaging patterns. The system distinguishes itself through its support for distributed clustering, which partitions data across multiple nodes to scale capacity and throughput. It incorporates geospatial indexing for proximity-based queries and utilizes a master-slave replication protocol to ensure high availability and read scalability across di