Awesome GitHub RepositoriesDistributed Data Stores

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

rust-libp2p is a modular peer-to-peer networking library written in Rust, implementing the libp2p specification. It provides a composable stack of transport, security, and discovery protocols that can be mixed and matched to build decentralized applications, with a central swarm manager coordinating all active connections, protocol negotiation, and peer lifecycle. The library distinguishes itself through a pluggable transport abstraction that supports TCP, QUIC, WebSocket, WebRTC, and WebTransport, enabling cross-platform operation across browsers, mobile devices, and servers. It secures ever

HBase 是一个分布式、宽列 NoSQL 存储和大数据存储引擎，专为稀疏数据集设计。它作为一个可扩展的列式数据库，构建在 Hadoop 分布式文件系统之上，提供对海量结构化和非结构化数据的实时读写访问。 该系统充当跨语言数据库网关，通过原生远程过程调用、REST 和 Thrift 接口提供连接。它通过主从协调模型脱颖而出，该模型实现了跨集群的水平扩展和容错能力。 该项目涵盖了广泛的功能，包括通过单元级可见性标签实现的细粒度访问控制、可插拔数据压缩和服务器端数据聚合。它还通过 MapReduce 集成支持大数据分析工作流，并允许执行自定义的服务器端逻辑。 操作监控通过系统指标跟踪和基于插件的指标导出提供。

Iggy 是一个分布式消息流平台和多协议消息代理，作为持久化分布式日志存储运行。它为使用追加日志（append-only log）发布和消费二进制消息提供了基础设施，通过 Viewstamped Replication 确保跨节点的高可用性和数据一致性。 该平台以其专业的 LLM 流式基础设施而著称，该基础设施使用服务器协议将大语言模型连接到流数据和系统控制。这包括通过 HTTP 或标准输入输出进行上下文管理和数据桥接的标准化协议。 该系统涵盖了广泛的功能，包括带有模块化源和汇插件的数据管道编排、用于水平扩展的消费者组协调，以及跨 TCP、QUIC、HTTP 和 WebSocket 的多协议传输支持。它还集成了诸如用于静态和传输中数据的 AES-256-GCM 加密等安全原语，并通过 Prometheus 指标、OpenTelemetry 追踪和操作 Web 仪表板提供可观测性。 该服务器可以使用容器镜像部署，并通过 Kubernetes 进行编排。