Awesome GitHub RepositoriesDistributed Data Stores

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

rust-libp2p is a modular peer-to-peer networking library written in Rust, implementing the libp2p specification. It provides a composable stack of transport, security, and discovery protocols that can be mixed and matched to build decentralized applications, with a central swarm manager coordinating all active connections, protocol negotiation, and peer lifecycle. The library distinguishes itself through a pluggable transport abstraction that supports TCP, QUIC, WebSocket, WebRTC, and WebTransport, enabling cross-platform operation across browsers, mobile devices, and servers. It secures ever

HBase ist ein verteilter, Wide-Column-NoSQL-Speicher und Big-Data-Speicher-Engine, die für spärliche Datensätze konzipiert ist. Sie fungiert als skalierbare spaltenorientierte Datenbank, die auf dem Hadoop Distributed File System aufbaut, um Echtzeit-Lese- und Schreibzugriffe auf massive Mengen strukturierter und unstrukturierter Daten zu ermöglichen. Das System agiert als sprachübergreifendes Datenbank-Gateway und bietet Konnektivität über native Remote Procedure Calls (RPC), REST- und Thrift-Schnittstellen. Es zeichnet sich durch ein Master-Worker-Koordinationsmodell aus, das horizontale Skalierung und Fehlertoleranz über einen Cluster hinweg ermöglicht. Das Projekt deckt ein breites Spektrum an Funktionen ab, einschließlich fein abgestimmter Zugriffskontrolle über Visibility-Labels auf Zellebene, plugbarer Datenkompression und serverseitiger Datenaggregation. Es unterstützt zudem Big-Data-Analytics-Workflows durch Map-Reduce-Integration und erlaubt die Ausführung benutzerdefinierter serverseitiger Logik. Die betriebliche Überwachung wird durch System-Metrik-Tracking und Plugin-basierten Metrik-Export bereitgestellt.

Iggy is a distributed message streaming platform and multi-protocol message broker that functions as a persistent distributed log store. It provides infrastructure for publishing and consuming binary messages using an append-only log, ensuring high availability and data consistency across nodes through Viewstamped Replication. The platform is distinguished by its specialized LLM streaming infrastructure, which uses a server protocol to connect large language models to streaming data and system controls. This includes standardized protocols for context management and data bridging via HTTP or