Awesome GitHub RepositoriesInter-Node Data Synchronization

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

CouchDB est une base de données de documents NoSQL qui stocke les données sous forme de documents flexibles et expose une API RESTful pour la gestion des données via HTTP. Elle fonctionne comme un magasin de documents distribué, synchronisant et répliquant les données sur plusieurs nœuds pour assurer une haute disponibilité et cohérence. Le système inclut un moteur de recherche plein texte qui transforme les enregistrements de base de données en documents interrogeables, prenant en charge le tri et la pagination. La synchronisation des données est gérée via une réplication multi-maître, qui échange les historiques de révision pour maintenir la cohérence sur les nœuds distribués. La base de données utilise un contrôle de concurrence multi-version pour permettre des lectures et écritures simultanées sans verrouillage. Le stockage est géré via des structures basées sur l'ajout seul et l'arbre B pour faciliter la récupération après plantage et les recherches efficaces sur disque.

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Simple flow library 🖥️🖱️

Kvrocks est un magasin clé-valeur distribué et une base de données NoSQL compatible avec Redis. Il utilise un moteur de stockage RocksDB pour fournir une persistance basée sur disque, permettant un stockage de données haute capacité avec des coûts de mémoire réduits par rapport aux systèmes en mémoire. Le système fonctionne comme une base de données vectorielle et un moteur de recherche plein texte, prenant en charge les recherches de plus proches voisins sur des embeddings vectoriels et des requêtes de documents complexes via la correspondance de texte. Il emploie une architecture de cluster sans proxy avec un routage basé sur des slots pour distribuer les données et mettre à l'échelle la capacité sur plusieurs nœuds. La plateforme couvre un large éventail de capacités de gestion des données, y compris la gestion de documents JSON, les données de séries temporelles et le traitement de flux en temps réel. Elle fournit une recherche et une indexation avancées grâce à des requêtes géospatiales, une indexation secondaire et l'analyse de plans de requête, tout en offrant un sketching de données probabiliste pour une estimation efficace de la cardinalité et de l'appartenance en mémoire. Les fonctionnalités opérationnelles supplémentaires incluent des transactions atomiques, la messagerie pub/sub et l'isolation des données par namespace pour les environnements multi-locataires.

go-fastdfs est un système de fichiers distribué et un serveur de stockage d'objets conçu pour construire un cloud privé. Il fournit une implémentation de stockage compatible avec FastDFS qui gère des clusters de nœuds de stockage pour traiter les téléchargements et envois de fichiers à grande échelle. Le système se concentre sur la haute disponibilité grâce à une architecture décentralisée qui synchronise automatiquement les données et répare les pannes sur plusieurs machines sans coordinateur central. Il prend spécifiquement en charge le stockage de fichiers avec reprise via HTTP, permettant aux transferts volumineux d'être mis en pause et repris à partir du dernier octet réussi pour gérer l'instabilité du réseau. Les capacités principales incluent l'optimisation des ressources de stockage via la déduplication de contenu basée sur SHA1 et la fusion de petits fichiers pour réduire la consommation d'inodes du système de fichiers. Le projet intègre également un pipeline de traitement d'images qui effectue une mise à l'échelle et un redimensionnement dynamiques des images pendant le processus de téléchargement et sécurise l'accès aux fichiers via une authentification par jeton. Le système peut être déployé via des conteneurs Docker.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

sofa-jraft is a Java implementation of the Raft consensus algorithm. It serves as a distributed consensus engine and linearizable state machine designed to ensure high availability and data consistency across a cluster of nodes. The project provides a replicated key-value store and a coordination engine for managing distributed state. It distinguishes itself through support for multi-group consensus sharding to distribute traffic and a service provider interface that allows for custom log storage and entry encoding implementations. The system covers a wide range of distributed capabilities,