Awesome GitHub RepositoriesDistributed Key-Value Stores

etcd is a distributed key-value store and configuration store designed to maintain a consistent set of data across a cluster of nodes. It functions as a reliable registry for storing and synchronizing critical settings and metadata used by distributed applications. The system implements the Raft consensus algorithm to ensure data consistency and leader election across servers. To protect data transfers and verify node identities, it utilizes a network security layer based on mutual TLS and client certificates. Its capabilities cover distributed configuration management, cluster state synchro

Kubernetes The Hard Way is an educational curriculum designed to teach the fundamental architecture and operational requirements of container orchestration platforms. It provides a structured, hands-on learning path that guides users through the manual bootstrapping of a multi-node cluster from scratch, intentionally avoiding automated installers to ensure a deep understanding of how individual control plane and worker node components interact. The project distinguishes itself by requiring the manual configuration of every layer of the infrastructure, including the generation of cryptographic

Dubbo is a Java RPC framework and microservices governance platform designed for high-performance remote procedure calls in distributed architectures. It provides the foundational components necessary to connect distributed services across a network, including a binary data serialization library and a distributed service registry. The platform distinguishes itself through a comprehensive governance suite that manages service discovery, load balancing, and traffic routing. It enables precise control over network traffic via conditional routing and a pluggable extension mechanism based on a ser

TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc

Nacos is a service discovery and configuration platform designed for cloud native environments. It serves as a management plane that orchestrates service registries, handles dynamic application settings through a remote configuration store, and functions as a load balancing control plane for distributed clusters. The platform differentiates itself by providing real-time configuration updates that push changes to clients without requiring service restarts. It also implements weighted routing and DNS-based traffic routing to manage load balancing policies across a fleet of healthy service insta

Consul is a distributed coordination service and service mesh tool used for service discovery, health monitoring, and cluster state management across dynamic networks. It provides a platform for locating network addresses of services and managing traffic across distributed infrastructure using DNS and HTTP interfaces. The project distinguishes itself through multi-datacenter network orchestration, enabling the federation of services across different regions using mesh gateways. It secures communication via a service mesh architecture that employs identity-based authorization and mutual TLS en

Cilium is a networking, security, and observability platform for containerized environments that leverages kernel-level data paths to process traffic. By executing programs directly within the Linux kernel, it provides high-performance packet filtering, routing, and load balancing without the need for traditional user-space proxies or context switching. The platform distinguishes itself through identity-based security enforcement, which filters traffic based on service labels rather than volatile IP addresses. It integrates containerized workloads with external physical or virtual infrastruct

NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t

This project is a high-performance, distributed API gateway designed to manage, secure, and observe traffic for microservices, serverless functions, and artificial intelligence model providers. It functions as a dynamic service proxy and cloud-native ingress controller, centralizing policy enforcement and traffic routing through a unified configuration interface that synchronizes state across multiple nodes in real time. The platform distinguishes itself through a highly extensible architecture that utilizes a high-performance scripting engine to execute modular logic directly within the requ

Spug is a web-based agentless SSH management platform used for executing remote commands and managing servers without requiring the installation of agent software on target machines. It serves as a centralized operations suite that integrates remote command execution, task scheduling, configuration management, health monitoring, and application deployment. The platform differentiates itself through a browser-based SSH terminal and jump box, providing direct interactive shell access to remote hosts without a local client. It also features a remote file manager for bidirectional file transfers

Talos is a minimal, immutable Linux distribution designed specifically for deploying and managing Kubernetes clusters. It functions as an API-driven infrastructure manager that replaces traditional shell access with a declarative gRPC interface to control operating system state and configuration. The system is distinguished by its use of a read-only root filesystem and a security-hardened kernel, which removes standard GNU utilities to reduce the attack surface. It ensures environment consistency by distributing the operating system as versioned, signed images and utilizes TPM-backed verified

workerd is a serverless edge runtime designed for executing lightweight, distributed functions at the network edge. It utilizes a V8-based JavaScript engine to provide fast startup and low memory overhead, while maintaining a WebAssembly-compatible execution environment that allows modules to run alongside JavaScript for high-performance computational tasks. The runtime supports isolate-based multi-tenancy to run multiple independent execution contexts within a single process. It implements an event-driven execution model that triggers code based on network requests or scheduled events and in

This project provides a comprehensive guide and set of scripts for deploying and configuring a production-ready Kubernetes cluster from scratch. It centers on establishing a functional environment by installing core management components, storage, and networking across multiple nodes. The implementation emphasizes high availability for the control plane, utilizing layer-4 load balancing and leader election for the API server, scheduler, and controller manager. It further ensures reliability through the deployment of a distributed key-value store for persistent runtime data. The project cover

This project serves as a comprehensive educational repository and technical reference collection, documenting a wide range of software engineering practices and modern development technologies. It provides a structured learning path for developers, curating tutorials and practical examples that cover the full lifecycle of application development, from initial project scaffolding to deployment and maintenance. The repository distinguishes itself by offering deep technical insights into complex architectural patterns, including actor-based concurrency models for managing parallel tasks and cont

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

Mooncake este o platformă de servire a modelelor de limbaj mari (LLM) dezagregate și un magazin distribuit de tip cheie-valoare, conceput pentru infrastructura de inferență de înaltă performanță. Funcționează ca un orchestrator de memorie GPU și sistem de gestionare a cache-ului KV care grupează și transferă cache-urile cheie-valoare între clustere pentru a accelera inferența. Sistemul se distinge prin separarea fazelor de prefill și decode ale inferenței în clustere hardware distincte pentru a optimiza utilizarea resurselor. Utilizează un cache distribuit RDMA de înaltă performanță cu transferuri zero-copy pentru a muta datele între nodurile de calcul, ocolind CPU-ul pentru a reduce latența și overhead-ul. Platforma acoperă domenii largi de capabilități, inclusiv gruparea memoriei distribuite, rutarea memoriei acceleratorului prin CXL și descărcarea stocării pe mai multe niveluri către SSD-uri. Gestionează starea clusterului prin servicii de coordonare a metadatelor și implementează guvernanța resurselor prin protecția obiectelor bazată pe lease și evacuarea cache-ului bazată pe watermark. Software-ul este împachetat pentru deployment containerizat cu suport pentru rețelistică host și maparea dispozitivelor hardware.

re-frame este un framework funcțional pentru construirea de aplicații single-page în ClojureScript. Acesta oferă o bază de date centralizată și imutabilă care servește drept unică sursă de adevăr pentru întreaga stare a aplicației, impunând un flux de date unidirecțional strict, unde evenimentele declanșează tranziții de stare și actualizări ulterioare ale vizualizărilor. Framework-ul se distinge printr-un graf de semnale reactive și un pipeline de middleware bazat pe interceptoare. Tratând logica aplicației ca pe o secvență de evenimente bazate pe date și efecte secundare declarative, acesta decuplează logica de business de stratul de vizualizare. Această arhitectură permite dezvoltatorilor să gestioneze tranziții complexe de stare și operațiuni externe prin funcții pure, asigurându-se că efectele secundare sunt executate de un interpretor separat, nu prin apeluri imperative. Sistemul include o suită cuprinzătoare de capabilități pentru gestionarea arhitecturii aplicației, inclusiv derivarea reactivă a datelor, reconcilierea vizualizărilor bazată pe abonamente și gestionarea stării bazată pe evenimente. Suportă fluxuri de lucru avansate, cum ar fi trasarea evenimentelor, checkpoint-uri de stare și capacitatea de a simula (stub) efecte secundare pentru testare izolată. Proiectul este conceput pentru integrarea cu React, utilizând reconcilierea virtual DOM pentru a actualiza eficient interfețele utilizator. Oferă un set robust de utilitare pentru gestionarea problemelor transversale, gestionarea grafurilor complexe de flux de date și coordonarea operațiunilor asincrone într-un pipeline de evenimente secvențial și predictibil.

Acest proiect este o implementare de referință care oferă o colecție de exemple practice pentru tiparele de acces la date și abstractizările de repository în ecosistemul Spring Data. Acesta servește drept vitrină cuprinzătoare pentru implementarea straturilor de date consistente în diverse baze de date relaționale și non-relaționale. Repository-ul demonstrează în mod specific persistența multi-store prin integrarea bazelor de date relaționale, document și vectoriale într-o singură aplicație. Include implementări pentru căutarea vectorială pentru a gestiona embedding-uri de înaltă dimensiune și căutări de similaritate între diferite tehnologii de baze de date. Capabilitățile suplimentare acoperite includ accesul reactiv la date pentru operațiuni non-blocking și fluxuri de date asincrone. Proiectul oferă, de asemenea, îndrumări privind optimizarea imaginilor native pentru a îmbunătăți performanța de pornire și utilizarea memoriei prin compilare ahead-of-time. Exemplele ilustrează în continuare izolarea datelor multi-tenant, designul API-urilor de repository de date și integrarea căutării geospațiale și full-text.

Acest proiect este site-ul oficial de documentație Kubernetes, servind drept resursă tehnică cuprinzătoare pentru gestionarea aplicațiilor containerizate. Funcționează ca un portal de documentație tehnică open-source care oferă ghiduri, tutoriale și materiale de referință pentru software-ul de sisteme distribuite. Site-ul este construit folosind un generator de site-uri statice cu o arhitectură de template-uri bazată pe componente pentru a menține tipare de design consistente. Dispune de un generator de documentație OpenAPI care parsează specificațiile tehnice pentru a construi și actualiza automat pagini de referință API structurate. Pentru a susține o audiență globală, utilizează rutarea conținutului conștientă de internaționalizare pentru a gestiona versiunile localizate ale manualelor. Fluxul de lucru de dezvoltare include un server cu hot-reloading pentru previzualizarea modificărilor site-ului și randarea țintită a limbajului pentru a accelera timpii de build. Proiectul acoperă o gamă largă de domenii tehnice, inclusiv orchestrarea clusterelor, configurarea rețelei și gestionarea resurselor.