Awesome GitHub RepositoriesInter-Node Data Synchronization

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

CouchDB es una base de datos de documentos NoSQL que almacena datos como documentos flexibles y expone una API RESTful para la gestión de datos a través de HTTP. Funciona como un almacén de documentos distribuido, sincronizando y replicando datos a través de múltiples nodos para garantizar una alta disponibilidad y consistencia. El sistema incluye un motor de búsqueda de texto completo que transforma los registros de la base de datos en documentos consultables, admitiendo clasificación y paginación. La sincronización de datos se maneja mediante replicación multi-maestro, que intercambia historiales de revisión para mantener la consistencia en los nodos distribuidos. La base de datos utiliza control de concurrencia multiversión para permitir lecturas y escrituras simultáneas sin bloqueos. El almacenamiento se gestiona a través de estructuras basadas en B-tree y de solo adición (append-only) para facilitar la recuperación ante fallos y las búsquedas eficientes en disco.

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Simple flow library 🖥️🖱️

Kvrocks is a distributed key-value store and Redis-compatible NoSQL database. It utilizes a RocksDB storage engine to provide disk-based persistence, allowing for high-capacity data storage with reduced memory costs compared to in-memory systems. The system functions as a vector database and full-text search engine, supporting nearest-neighbor searches on vector embeddings and complex document queries via text matching. It employs a proxyless cluster architecture with slot-based routing to distribute data and scale capacity across multiple nodes. The platform covers a wide range of data mana

go-fastdfs es un sistema de archivos distribuido y servidor de almacenamiento de objetos diseñado para construir almacenamiento en la nube privada. Proporciona una implementación de almacenamiento compatible con FastDFS que gestiona clústeres de nodos de almacenamiento para manejar subidas y descargas de archivos a gran escala. El sistema se centra en la alta disponibilidad a través de una arquitectura descentralizada que sincroniza automáticamente los datos y repara fallos entre múltiples máquinas sin un coordinador central. Admite específicamente el almacenamiento de archivos reanudables a través de HTTP, permitiendo que las transferencias grandes se pausen y reanuden desde el último byte exitoso para manejar la inestabilidad de la red. Las capacidades principales incluyen la optimización de recursos de almacenamiento mediante la deduplicación de contenido basada en SHA1 y la fusión de archivos pequeños para reducir el consumo de inodos del sistema de archivos. El proyecto también incorpora una tubería de procesamiento de imágenes que realiza escalado y redimensionamiento dinámico de imágenes durante el proceso de descarga y asegura el acceso a los archivos mediante autenticación basada en tokens. El sistema puede desplegarse mediante contenedores Docker.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

sofa-jraft is a Java implementation of the Raft consensus algorithm. It serves as a distributed consensus engine and linearizable state machine designed to ensure high availability and data consistency across a cluster of nodes. The project provides a replicated key-value store and a coordination engine for managing distributed state. It distinguishes itself through support for multi-group consensus sharding to distribute traffic and a service provider interface that allows for custom log storage and entry encoding implementations. The system covers a wide range of distributed capabilities,