Awesome GitHub RepositoriesDistributed Key-Value Stores

etcd is a distributed key-value store and configuration store designed to maintain a consistent set of data across a cluster of nodes. It functions as a reliable registry for storing and synchronizing critical settings and metadata used by distributed applications. The system implements the Raft consensus algorithm to ensure data consistency and leader election across servers. To protect data transfers and verify node identities, it utilizes a network security layer based on mutual TLS and client certificates. Its capabilities cover distributed configuration management, cluster state synchro

Kubernetes The Hard Way is an educational curriculum designed to teach the fundamental architecture and operational requirements of container orchestration platforms. It provides a structured, hands-on learning path that guides users through the manual bootstrapping of a multi-node cluster from scratch, intentionally avoiding automated installers to ensure a deep understanding of how individual control plane and worker node components interact. The project distinguishes itself by requiring the manual configuration of every layer of the infrastructure, including the generation of cryptographic

Dubbo is a Java RPC framework and microservices governance platform designed for high-performance remote procedure calls in distributed architectures. It provides the foundational components necessary to connect distributed services across a network, including a binary data serialization library and a distributed service registry. The platform distinguishes itself through a comprehensive governance suite that manages service discovery, load balancing, and traffic routing. It enables precise control over network traffic via conditional routing and a pluggable extension mechanism based on a ser

TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc

Nacos is a service discovery and configuration platform designed for cloud native environments. It serves as a management plane that orchestrates service registries, handles dynamic application settings through a remote configuration store, and functions as a load balancing control plane for distributed clusters. The platform differentiates itself by providing real-time configuration updates that push changes to clients without requiring service restarts. It also implements weighted routing and DNS-based traffic routing to manage load balancing policies across a fleet of healthy service insta

Consul is a distributed coordination service and service mesh tool used for service discovery, health monitoring, and cluster state management across dynamic networks. It provides a platform for locating network addresses of services and managing traffic across distributed infrastructure using DNS and HTTP interfaces. The project distinguishes itself through multi-datacenter network orchestration, enabling the federation of services across different regions using mesh gateways. It secures communication via a service mesh architecture that employs identity-based authorization and mutual TLS en

Cilium is a networking, security, and observability platform for containerized environments that leverages kernel-level data paths to process traffic. By executing programs directly within the Linux kernel, it provides high-performance packet filtering, routing, and load balancing without the need for traditional user-space proxies or context switching. The platform distinguishes itself through identity-based security enforcement, which filters traffic based on service labels rather than volatile IP addresses. It integrates containerized workloads with external physical or virtual infrastruct

NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t

This project is a high-performance, distributed API gateway designed to manage, secure, and observe traffic for microservices, serverless functions, and artificial intelligence model providers. It functions as a dynamic service proxy and cloud-native ingress controller, centralizing policy enforcement and traffic routing through a unified configuration interface that synchronizes state across multiple nodes in real time. The platform distinguishes itself through a highly extensible architecture that utilizes a high-performance scripting engine to execute modular logic directly within the requ

Spug is a web-based agentless SSH management platform used for executing remote commands and managing servers without requiring the installation of agent software on target machines. It serves as a centralized operations suite that integrates remote command execution, task scheduling, configuration management, health monitoring, and application deployment. The platform differentiates itself through a browser-based SSH terminal and jump box, providing direct interactive shell access to remote hosts without a local client. It also features a remote file manager for bidirectional file transfers

Talos is a minimal, immutable Linux distribution designed specifically for deploying and managing Kubernetes clusters. It functions as an API-driven infrastructure manager that replaces traditional shell access with a declarative gRPC interface to control operating system state and configuration. The system is distinguished by its use of a read-only root filesystem and a security-hardened kernel, which removes standard GNU utilities to reduce the attack surface. It ensures environment consistency by distributing the operating system as versioned, signed images and utilizes TPM-backed verified

workerd is a serverless edge runtime designed for executing lightweight, distributed functions at the network edge. It utilizes a V8-based JavaScript engine to provide fast startup and low memory overhead, while maintaining a WebAssembly-compatible execution environment that allows modules to run alongside JavaScript for high-performance computational tasks. The runtime supports isolate-based multi-tenancy to run multiple independent execution contexts within a single process. It implements an event-driven execution model that triggers code based on network requests or scheduled events and in

This project provides a comprehensive guide and set of scripts for deploying and configuring a production-ready Kubernetes cluster from scratch. It centers on establishing a functional environment by installing core management components, storage, and networking across multiple nodes. The implementation emphasizes high availability for the control plane, utilizing layer-4 load balancing and leader election for the API server, scheduler, and controller manager. It further ensures reliability through the deployment of a distributed key-value store for persistent runtime data. The project cover

This project serves as a comprehensive educational repository and technical reference collection, documenting a wide range of software engineering practices and modern development technologies. It provides a structured learning path for developers, curating tutorials and practical examples that cover the full lifecycle of application development, from initial project scaffolding to deployment and maintenance. The repository distinguishes itself by offering deep technical insights into complex architectural patterns, including actor-based concurrency models for managing parallel tasks and cont

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

Mooncake هو منصة لخدمة نماذج اللغة الكبيرة (LLM) المفككة ومخزن مفتاح-قيمة موزع مصمم لبنية تحتية عالية الأداء للاستنتاج. يعمل كمنسق لذاكرة GPU ونظام إدارة لذاكرة التخزين المؤقت (KV cache) الذي يجمع وينقل ذاكرة التخزين المؤقت للمفاتيح والقيم عبر العناقيد (Clusters) لتسريع الاستنتاج. يتميز النظام بفصل مراحل الاستنتاج (Prefill وDecode) إلى عناقيد أجهزة متميزة لتحسين استخدام الموارد. يستخدم ذاكرة تخزين مؤقت موزعة عالية الأداء تعتمد على RDMA مع عمليات نقل بدون نسخ (Zero-copy) لنقل البيانات بين عقد الحوسبة، متجاوزًا وحدة المعالجة المركزية (CPU) لتقليل التأخير والحمل الزائد. تغطي المنصة مجالات قدرات واسعة بما في ذلك تجميع الذاكرة الموزعة، وتوجيه ذاكرة المسرع عبر CXL، وتفريغ التخزين متعدد المستويات إلى أقراص SSD. يدير النظام حالة العنقود من خلال خدمات تنسيق البيانات الوصفية، ويطبق حوكمة الموارد عبر حماية الكائنات القائمة على الإيجار وطرد ذاكرة التخزين المؤقت القائم على العلامات المائية. البرنامج مهيأ للنشر في حاويات (Containerized) مع دعم لشبكات المضيف وتعيين أجهزة العتاد.

re-frame هو إطار عمل وظيفي لبناء تطبيقات الصفحة الواحدة (SPA) باستخدام ClojureScript. يوفر قاعدة بيانات مركزية غير قابلة للتغيير تعمل كمصدر وحيد للحقيقة لحالة التطبيق بالكامل، مما يفرض تدفق بيانات أحادي الاتجاه صارم حيث تؤدي الأحداث إلى تغييرات في الحالة وتحديثات لاحقة للعرض. يتميز إطار العمل برسم بياني تفاعلي للإشارات وخط أنابيب (pipeline) وسيط يعتمد على المعترضات (interceptors). من خلال التعامل مع منطق التطبيق كسلسلة من الأحداث القائمة على البيانات والآثار الجانبية التصريحية، فإنه يفصل منطق الأعمال عن طبقة العرض. تسمح هذه البنية للمطورين بإدارة تغييرات الحالة المعقدة والعمليات الخارجية من خلال دوال نقية، مما يضمن تنفيذ الآثار الجانبية بواسطة مترجم منفصل بدلاً من الاستدعاءات الإلزامية. يتضمن النظام مجموعة شاملة من الإمكانيات لإدارة بنية التطبيق، بما في ذلك اشتقاق البيانات التفاعلي، ومطابقة العرض القائمة على الاشتراكات، وإدارة الحالة القائمة على الأحداث. يدعم سير عمل التطوير المتقدم مثل تتبع الأحداث، وحفظ نقاط فحص الحالة، والقدرة على محاكاة الآثار الجانبية للاختبار المعزول. تم تصميم المشروع للتكامل مع React، مستفيداً من مطابقة DOM الافتراضي لتحديث واجهات المستخدم بكفاءة. يوفر مجموعة قوية من الأدوات للتعامل مع الاهتمامات المتقاطعة، وإدارة رسوم بيانية معقدة لتدفق البيانات، وتنسيق العمليات غير المتزامنة ضمن خط أنابيب أحداث متسلسل وقابل للتنبؤ.

هذا المشروع عبارة عن تطبيق مرجعي يوفر مجموعة من الأمثلة العملية لأنماط الوصول إلى البيانات وتجريدات المستودع داخل نظام Spring Data البيئي. يعمل كعرض شامل لتنفيذ طبقات بيانات متسقة عبر قواعد بيانات علائقية وغير علائقية مختلفة. يوضح المستودع بشكل خاص الاستمرارية متعددة المتاجر من خلال دمج قواعد البيانات العلائقية والوثائقية والمتجهية داخل تطبيق واحد. يتضمن تطبيقات للبحث المتجهي لإدارة التضمينات عالية الأبعاد وعمليات البحث عن التشابه عبر تقنيات قواعد بيانات مختلفة. تشمل القدرات الإضافية المغطاة الوصول التفاعلي إلى البيانات للعمليات غير المحظورة وتدفقات البيانات غير المتزامنة. يوفر المشروع أيضاً توجيهاً بشأن تحسين الصورة الأصلية لتحسين أداء بدء التشغيل واستخدام الذاكرة من خلال التجميع المسبق (ahead-of-time compilation). توضح الأمثلة أيضاً عزل البيانات متعدد المستأجرين، وتصميم واجهات برمجة تطبيقات مستودع البيانات، ودمج البحث الجغرافي والمكاني والبحث كامل النص.

هذا المشروع هو موقع التوثيق الرسمي لـ Kubernetes، ويعمل كمورد تقني شامل لإدارة التطبيقات المعبأة. يعمل كبوابة توثيق تقنية مفتوحة المصدر توفر أدلة، ودروسًا تعليمية، ومواد مرجعية لبرمجيات الأنظمة الموزعة. تم بناء الموقع باستخدام مولد مواقع ثابت مع بنية قالب قائمة على المكونات للحفاظ على أنماط تصميم متسقة. ويتميز بمولد توثيق OpenAPI الذي يحلل المواصفات التقنية لبناء وتحديث صفحات مرجع واجهة برمجة التطبيقات المهيكلة تلقائيًا. لدعم جمهور عالمي، يستخدم توجيه المحتوى الواعي بالتدويل لإدارة الإصدارات المترجمة من الأدلة. يتضمن سير عمل التطوير خادم إعادة تحميل ساخن لمعاينة تغييرات الموقع وعرض اللغة المستهدف لتسريع أوقات البناء. يغطي المشروع مجموعة واسعة من المجالات التقنية، بما في ذلك تنسيق العناقيد، وتهيئة الشبكة، وإدارة الموارد.