Awesome GitHub RepositoriesCluster Failover Managers

This project is a comprehensive Java backend engineering guide and technical reference focused on high-concurrency design, distributed systems, and microservices architecture. It provides detailed strategies for decomposing monolithic applications, managing service discovery, and implementing the architectural patterns required for scalable backend environments. The repository distinguishes itself through an extensive collection of big data algorithmic references and database scaling strategies. It covers memory-efficient techniques for analyzing massive datasets, such as Top-K element extrac

RocketMQ is a cloud-native distributed messaging platform and streaming engine. It functions as a distributed transactional queue that ensures atomicity between local transactions and message delivery, and serves as an MQTT IoT message broker to bridge lightweight device traffic into high-performance data streams. The system is distinguished by a Kubernetes-native architecture that decouples compute from storage to allow independent scaling of traffic and data retention. It utilizes a tiered storage model to offload older data to remote storage and employs quorum-based replication and automat

Quarkus is a Kubernetes-native Java framework designed for building high-performance, memory-efficient applications. It utilizes ahead-of-time native compilation to transform Java code into standalone, optimized binaries that eliminate the need for a virtual machine, enabling rapid startup and reduced memory consumption. By performing code augmentation during the build phase, it shifts heavy processing tasks away from runtime, ensuring that applications are optimized for cloud-native environments. The framework distinguishes itself through a unified approach to reactive and imperative program

ioredis is a performance-focused Redis client for Node.js applications. It provides a comprehensive interface for interacting with Redis servers, including specialized clients for sharded clusters and Sentinel-based high availability environments. The project distinguishes itself through advanced networking and execution capabilities, such as automatic event-loop pipelining to reduce overhead and a system for routing read-write traffic between primary and replica nodes. It also features a dedicated Lua scripting interface that allows server-side scripts to be registered as custom client comma

Eureka is a service registry and discovery server that serves as a coordination tool for microservices. It provides a distributed service registry where instances record their network locations and health status to enable dynamic communication without the use of hardcoded addresses. The system functions as a client-side load balancing framework, providing location data to consumers so they can distribute network traffic across available instances. It employs a heartbeat-based health monitor to track instance availability and automatically removes unresponsive nodes from the registry to manage

Garnet is a multi-threaded in-memory database and distributed key-value store. It functions as a high-performance remote cache store that implements the RESP wire protocol to maintain compatibility with existing Redis clients and libraries. The project is distinguished by a shared-memory architecture that enables parallel request processing across multiple cores for sub-millisecond latency. It features a tiered storage system that automatically offloads colder data from system memory to SSD or cloud storage layers, and includes a specialized vector search database for high-dimensional similar

DiceDB is a distributed cache manager and hierarchical storage engine based on a Valkey key-value store. It functions as a high-availability key-value cluster that balances performance and cost by distributing data across memory and disk tiers. The system supports working sets larger than available RAM by persisting evicted keys to disk and restoring them on demand. It also includes a real-time query subscription system that notifies clients when data matching specific criteria is updated. The project provides distributed cache coordination through master node health monitoring and quorum-ba

This project provides a version of the Redis 3.0 codebase featuring detailed technical commentary and annotations. It serves as a technical resource for studying the internal design and implementation of an in-memory key-value store and the architecture of a networked NoSQL database. The documentation focuses on the implementation of the Redis Sentinel system, covering the mechanisms used for monitoring instance health, managing automatic failover, and notifying clients of primary node changes. The project covers broader architectural areas including in-memory data storage, high availability

Patroni is a high availability manager and cluster orchestrator for PostgreSQL. It functions as an automatic failover controller and replication manager that ensures continuous database availability by automating leader election and promoting standby nodes during failures. The system maintains a consistent cluster state by acting as a distributed consensus coordinator. It synchronizes configuration and manages leader elections through integration with distributed configuration stores such as etcd, ZooKeeper, or Consul. Its broader capabilities include managing both synchronous and asynchrono

This project is a comprehensive educational resource and curriculum focused on site reliability engineering, distributed systems, and infrastructure operations. It provides technical guides, a systems engineering course, and instructional manuals designed to teach the principles of managing large-scale computing environments. The curriculum covers high-level architectural design for scalability and resilience, including fault-tolerant infrastructure, high-availability patterns, and microservices decomposition. It emphasizes the practical application of site reliability engineering through the

CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Optimism هو عبارة عن حزمة (stack) من نوع optimistic rollup لشبكة Ethereum، مصمم لزيادة معدل نقل المعاملات من خلال معالجتها على طبقة ثانوية ثم تسوية الحالة على شبكة Ethereum الرئيسية. يعمل كإطار عمل للتوسع يستخدم مُرتب (sequencer) لتنظيم المعاملات، وإنتاج الكتل، وإرسال البيانات المجمعة إلى البلوكشين الأساسي. يتميز النظام بآلية لإثبات الاحتيال تستخدم محاكاة التعليمات على السلسلة (on-chain) لحل النزاعات والتحقق من صحة انتقالات الحالة. كما يتضمن مجموعة أدوات مخصصة لنشر وترقية العقود الذكية اللازمة لتشغيل وصيانة شبكة التوسع. يغطي المشروع مجالات واسعة تشمل مزامنة حالة البلوكشين، وتوجيه الرسائل عبر السلاسل (cross-chain)، وإدارة المُرتب مع خاصية التبديل عند الفشل (failover) لضمان التوافر العالي. كما يوفر بنية تحتية لتوافر البيانات، وتوليد إثباتات الخطأ، وإطار عمل موجه للخدمات لتطوير مكونات البلوكشين. يحتوي المستودع على مجموعة أدوات تطوير (SDK) لإدارة الحسابات، ومحاكاة الشبكة، واختبارات التكامل للتحقق من سلوك النظام واستقرار التحديثات.

Orchestrator هو نظام عالي التوفر ومدير نسخ متماثل لمجموعات قواعد بيانات MySQL. يعمل كأداة لأتمتة تجاوز الفشل ومصور للطوبولوجيا مصمم لاكتشاف فشل السيد (master) وترقية النسخ الاحتياطية لتقليل وقت تعطل النظام. يركز المشروع على إدارة وإعادة تكوين طوبولوجيا النسخ المتماثل لـ MySQL للحفاظ على توزيع متسق للبيانات. يستخدم زحف اكتشاف الطوبولوجيا لرسم هياكل النسخ المتماثل ويحدد حالات الفشل النشطة داخل مجموعة قاعدة البيانات. يوفر النظام قدرات لاستعادة المجموعة الآلية، وتتبع المثيلات المدرك للموقع، وإعادة تكوين الطوبولوجيا القائمة على القيود. كما يحتفظ بسجل تدقيق لتسجيل الحالة لتتبع تغييرات الطوبولوجيا التاريخية وأحداث تجاوز الفشل.

MySQL replication topology management and HA

Cronicle is a distributed job scheduler that replaces traditional cron with a browser-based management interface. It runs scheduled tasks across a cluster of servers with automatic failover, using a custom cron parser that intersects day-of-month and day-of-week constraints when both are specified. The system executes jobs through a plugin framework that runs command-line scripts in any language, communicating via JSON over standard input and output. The scheduler provides a web-based real-time dashboard for monitoring running jobs with live logs, resource usage charts, and progress updates.

Seesaw عبارة عن منصة لتوزيع حركة المرور تعتمد على تقنية Linux Virtual Server. تعمل كموازن أحمال لإدارة مجموعات الشبكة عالية التوفر، وتستخدم وحدة تحكم توجيه BGP anycast للإعلان عن عناوين IP الافتراضية وسحبها لتوجيه حركة المرور إلى أقرب عقدة متاحة. يتضمن النظام منسقاً لإرجاع الخادم المباشر (direct server return) يسمح لخوادم الواجهة الخلفية بإرسال حركة المرور الصادرة مباشرة إلى العملاء. كما يوفر واجهة سطر أوامر لإدارة المجموعات للتحكم في إعادة تحميل الإعدادات وتفعيل تجاوز الفشل بين العقد. تغطي المنصة مراقبة صحة الواجهة الخلفية عبر بروتوكولات HTTP وTCP وICMP وDNS. كما تدير توزيع حركة مرور الشبكة من خلال إدارة أوزان الخوادم للتحكم في نسبة حركة المرور التي يتلقاها كل مضيف بناءً على سعته.

Pigsty هي منصة تنسيق بنية تحتية لقاعدة بيانات شاملة مصممة لأتمتة دورة الحياة الكاملة لمجموعات PostgreSQL عالية التوافر. تعمل كإطار عمل للبنية التحتية ككود يدير تنسيق المجموعة، وتوفير العقد، واكتشاف الخدمة من خلال دفاتر تشغيل متطابقة. من خلال دمج آليات الإجماع الموزعة، تضمن المنصة تجاوز الفشل الآلي وإنفاذ الحالة المتسقة عبر بيئات متنوعة، بما في ذلك الأجهزة المعدنية والبنية التحتية الافتراضية. تتميز المنصة بمجموعة قوية من القدرات التشغيلية التي تمتد إلى ما وراء إدارة قاعدة البيانات القياسية. تتميز بخط أنابيب مراقبة مدمج يجمع المقاييس والسجلات والآثار في لوحات تحكم مركزية لمراقبة الأداء في الوقت الفعلي والتحليل التشخيصي. بالإضافة إلى ذلك، توفر إطار عمل ترحيل يحاكي بروتوكولات الأسلاك المملوكة وصيغة SQL، مما يسمح بدمج أعباء عمل قاعدة بيانات المؤسسات القديمة في بيئات علائقية حديثة. يغطي النظام مساحة وظيفية واسعة، بما في ذلك إدارة التخزين المتقدمة مع استنساخ النسخ عند الكتابة للنشر السريع، وتنسيق قواعد البيانات المتعددة الذي ينسق المحركات العلائقية مع التخزين المؤقت وتخزين الكائنات. كما يدمج تقوية الأمان، والنسخ الاحتياطي والاستعادة الآلي، وتوجيه حركة المرور من خلال وكلاء طبقيين لفصل اتصالات العميل عن طوبولوجيا المجموعة الأساسية. يتم توزيع المشروع كنموذج مرآة حزمة مكتفٍ ذاتياً، مما يتيح النشر المتسق وإدارة التبعية في البيئات الآمنة أو المعزولة.

Keepalived هو مدير توفر عالي وأداة تجاوز فشل IP افتراضية تضمن توفر الخدمة المستمر. ينسق ترحيل عناوين IP العائمة بين العقد الرئيسية والاحتياطية باستخدام بروتوكول تكرار الموجه الافتراضي لإدارة تكرار الموجه وتجاوز الفشل السلس. يتميز المشروع بالتكامل مع وحدة Linux kernel IPVS ليعمل كموازن تحميل لطبقة النقل. يوزع حركة مرور الشبكة عبر خوادم الخلفية باستخدام خوارزميات جدولة مختلفة وطرق إعادة توجيه مثل NAT، أو التوجيه المباشر، أو النفق. يتضمن النظام قدرات مراقبة صحة الشبكة باستخدام TCP، و HTTP، وبروتوكول اكتشاف إعادة التوجيه ثنائي الاتجاه لتحديد الإخفاقات في أجزاء من الثانية. كما يدعم تنسيق تجاوز الفشل الآلي من خلال تنفيذ نصوص برمجية مخصصة، وتنبيهات SMTP الإدارية، ومزامنة مسارات التوجيه عبر مثيلات متعددة. يوفر البرنامج سطح تكوين يدعم القوالب، وعزل مساحة اسم الشبكة، وتصدير مقاييس النظام عبر SNMP.

هذا المشروع عبارة عن مشغل (operator) لـ Kubernetes مصمم لنشر وإدارة مجموعات قواعد بيانات PostgreSQL للإنتاج باستخدام تكوينات تعريفية. يعمل كوحدة تحكم تقوم بمزامنة الحالة الفعلية لمجموعات قواعد البيانات مع الحالة المطلوبة، مما يوفر نظاماً لتنسيق التوافر العالي، والنسخ الاحتياطي والاستعادة التلقائي، وإدارة قواعد البيانات داخل الحاويات. يتميز المشغل بمجموعة شاملة لحماية البيانات تدعم الاستعادة في نقطة زمنية محددة، والنسخ الاحتياطي متعدد الأنماط إلى تخزين الكائنات السحابي، واستنساخ المجموعات. يضمن التوافر المستمر باستخدام الإجماع الموزع (distributed consensus) للفشل التلقائي (failover) ويدعم إدارة حركة مرور متطورة من خلال مجمع اتصالات (connection pooler) متكامل. يغطي المشروع مجموعة واسعة من القدرات التشغيلية، بما في ذلك النسخ المتماثل المتزامن وغير المتزامن، وجمع القياسات عن بُعد (telemetry) عبر مجموعة مراقبة مخصصة، وإدارة الهوية الآمنة مع تدوير تلقائي لشهادات TLS. كما يوفر أدوات لتوسيع حجم التخزين، وتحديثات محرك قاعدة البيانات، ودمج إضافات قواعد البيانات المختلفة. يتم تثبيت وحدة التحكم في مجموعة باستخدام ملفات بيان قابلة للتخصيص لتمكين التنسيق التعريفي لبيئة قاعدة البيانات.