Awesome GitHub RepositoriesDistributed Data Stores

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

rust-libp2p is a modular peer-to-peer networking library written in Rust, implementing the libp2p specification. It provides a composable stack of transport, security, and discovery protocols that can be mixed and matched to build decentralized applications, with a central swarm manager coordinating all active connections, protocol negotiation, and peer lifecycle. The library distinguishes itself through a pluggable transport abstraction that supports TCP, QUIC, WebSocket, WebRTC, and WebTransport, enabling cross-platform operation across browsers, mobile devices, and servers. It secures ever

HBase est un magasin NoSQL distribué à colonnes larges et un moteur de stockage de big data conçu pour les jeux de données creux. Il fonctionne comme une base de données colonnaire évolutive construite au-dessus du Hadoop Distributed File System pour fournir un accès en lecture et écriture en temps réel à des volumes massifs de données structurées et non structurées. Le système agit comme une passerelle de base de données multi-langage, offrant une connectivité via des appels de procédure distante (RPC) natifs, REST et des interfaces Thrift. Il se distingue par un modèle de coordination maître-esclave qui permet une mise à l'échelle horizontale et une tolérance aux pannes à travers un cluster. Le projet couvre un large ensemble de capacités, notamment le contrôle d'accès granulaire via des étiquettes de visibilité au niveau de la cellule, la compression de données enfichable et l'agrégation de données côté serveur. Il supporte également les workflows d'analyse de big data via l'intégration map-reduce et permet l'exécution de logique personnalisée côté serveur. La surveillance opérationnelle est fournie via le suivi des métriques système et l'exportation de métriques basée sur des plugins.

Iggy est une plateforme de streaming de messages distribuée et un courtier de messages multi-protocole qui fonctionne comme un magasin de journaux distribué persistant. Il fournit une infrastructure pour publier et consommer des messages binaires en utilisant un journal en ajout seul (append-only log), garantissant une haute disponibilité et une cohérence des données entre les nœuds via la réplication Viewstamped. La plateforme se distingue par son infrastructure de streaming LLM spécialisée, qui utilise un protocole serveur pour connecter les grands modèles de langage aux données en streaming et aux contrôles système. Cela inclut des protocoles standardisés pour la gestion du contexte et le pontage de données via HTTP ou l'entrée-sortie standard. Le système couvre un large éventail de capacités, y compris l'orchestration de pipelines de données avec des plugins de source et de destination modulaires, la coordination de groupes de consommateurs pour la mise à l'échelle horizontale et la prise en charge du transport multi-protocole via TCP, QUIC, HTTP et WebSocket. Il intègre également des primitives de sécurité telles que le chiffrement AES-256-GCM pour les données au repos et en transit, et fournit une observabilité via les métriques Prometheus, le traçage OpenTelemetry et un tableau de bord web opérationnel. Le serveur peut être déployé en utilisant des images de conteneur et orchestré via Kubernetes.