Awesome GitHub RepositoriesDistributed Cluster Coordination

Storm is a distributed stream processing framework and fault-tolerant compute engine designed for executing real-time continuous computations across a cluster of machines. It functions as a stateful stream processor and cluster topology manager, enabling the deployment and monitoring of distributed data flow configurations. The system ensures exactly-once semantics by utilizing transactional state management to guarantee that every message in a data stream is processed exactly one time. It further operates as a distributed RPC system, allowing for the integration of non-native languages throu

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

xmall is a distributed e-commerce platform based on a service-oriented architecture. It separates business logic into independent services that communicate over a network to ensure scalability and fault tolerance, utilizing a decoupled storefront interface for customer transactions. The platform employs a distributed architecture using Dubbo for service orchestration and Zookeeper for cluster coordination and service discovery. It integrates a specialized set of components including an asynchronous message broker for background tasks, an indexed search system for product catalogs, and a centr

Storm is a distributed stream processing framework designed to execute unbounded computations across a cluster to process real-time data streams. It functions as a data pipeline orchestrator that allows users to define and deploy declarative data flow graphs connecting streaming sources to processing components. The system operates as a multi-tenant distributed compute engine that isolates workloads and limits resource usage across shared clusters using dedicated pools and access control. It is also a secure distributed processing engine that employs encrypted node communication and SSL-secur

Apache Storm is a distributed stream processing framework and real-time data processing engine. It functions as a fault-tolerant distributed computing system designed to analyze data in motion across a cluster of machines for continuous stream computation. The system enables the creation of fault-tolerant data pipelines and scalable event processing by distributing workloads across a network of computing nodes. This architecture ensures low latency and high throughput for live data while allowing the system to recover automatically from individual node failures. The framework provides capabi

Flashlight هي مكتبة تعلم آلي مستقلة بلغة C++ ومكتبة موترات تستخدم لبناء وتدريب الشبكات العصبية. تعمل كإطار عمل شامل للشبكات العصبية ومحرك للتمايز التلقائي، مما يوفر الأدوات لبناء رسوم بيانية للحساب وحساب التدرجات عبر الانتشار العكسي. يعمل المشروع كإطار عمل للتدريب الموزع، حيث يستخدم عمليات (All-reduce) لمزامنة التدرجات والمعلمات عبر عقد حساب وأجهزة متعددة. يتميز بالتكامل العميق لمعالجة الموترات عالية الأداء، وقابلية التشغيل البيني لذاكرة الجهاز الأصلية، ونظام لمزامنة الأوزان عبر العمال الموزعين لتسريع تدريب النماذج واسعة النطاق. يغطي إطار العمل مجموعة واسعة من قدرات التعلم العميق، بما في ذلك تكوين الطبقات المعيارية لتصميم بنيات معقدة مثل الكتل المتبقية (Residual blocks) والخلايا المتكررة. يوفر أدوات واسعة النطاق لإدارة البيانات للاستيعاب والجلب المسبق، إلى جانب أنظمة التسلسل لحفظ حالات النموذج. بالإضافة إلى ذلك، يتضمن مجموعة من أدوات المراقبة وقابلية المراقبة لتتبع مقاييس التدريب وقياس أخطاء التسلسل. تم تنفيذ المكتبة بلغة C++.

Pigsty هي منصة تنسيق بنية تحتية لقاعدة بيانات شاملة مصممة لأتمتة دورة الحياة الكاملة لمجموعات PostgreSQL عالية التوافر. تعمل كإطار عمل للبنية التحتية ككود يدير تنسيق المجموعة، وتوفير العقد، واكتشاف الخدمة من خلال دفاتر تشغيل متطابقة. من خلال دمج آليات الإجماع الموزعة، تضمن المنصة تجاوز الفشل الآلي وإنفاذ الحالة المتسقة عبر بيئات متنوعة، بما في ذلك الأجهزة المعدنية والبنية التحتية الافتراضية. تتميز المنصة بمجموعة قوية من القدرات التشغيلية التي تمتد إلى ما وراء إدارة قاعدة البيانات القياسية. تتميز بخط أنابيب مراقبة مدمج يجمع المقاييس والسجلات والآثار في لوحات تحكم مركزية لمراقبة الأداء في الوقت الفعلي والتحليل التشخيصي. بالإضافة إلى ذلك، توفر إطار عمل ترحيل يحاكي بروتوكولات الأسلاك المملوكة وصيغة SQL، مما يسمح بدمج أعباء عمل قاعدة بيانات المؤسسات القديمة في بيئات علائقية حديثة. يغطي النظام مساحة وظيفية واسعة، بما في ذلك إدارة التخزين المتقدمة مع استنساخ النسخ عند الكتابة للنشر السريع، وتنسيق قواعد البيانات المتعددة الذي ينسق المحركات العلائقية مع التخزين المؤقت وتخزين الكائنات. كما يدمج تقوية الأمان، والنسخ الاحتياطي والاستعادة الآلي، وتوجيه حركة المرور من خلال وكلاء طبقيين لفصل اتصالات العميل عن طوبولوجيا المجموعة الأساسية. يتم توزيع المشروع كنموذج مرآة حزمة مكتفٍ ذاتياً، مما يتيح النشر المتسق وإدارة التبعية في البيئات الآمنة أو المعزولة.

m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi

Lunatic هو وقت تشغيل WebAssembly ومدير عمليات متزامن ينفذ نموذجاً مستوحى من Erlang للتزامن خفيف الوزن وتحمل الأخطاء. يعمل كنظام فاعل موزع حيث تتواصل العمليات المعزولة عبر تمرير الرسائل عبر شبكة من العقد المرتبطة. يستخدم النظام بيئة رمل (sandbox) WebAssembly لعزل الذاكرة وتقييد أذونات استدعاء النظام لكل عملية فردية. يضمن نموذج الأمان القائم على القدرات هذا أن العمليات محصورة في بيئة رمل لتنفيذ الكود غير الموثوق به بأمان. توفر المنصة شجرة إشراف تتحمل الأخطاء للمراقبة الهرمية وإعادة التشغيل التلقائي للعمليات الفاشلة. تدير أحمال العمل عالية التزامن باستخدام مجدول سرقة العمل الاستباقي لتنفيذ آلاف الخيوط الخضراء خفيفة الوزن. يدعم وقت التشغيل تنسيق النظام الموزع من خلال تجميع العقد عبر أجهزة مادية مختلفة ويتعامل مع حركة مرور الشبكة لبروتوكولات مثل TCP و WebSockets.

Stolon هو مدير أوركسترا لقواعد بيانات سحابية أصلية لـ PostgreSQL. يعمل كمدير توفر عالي مصمم لأتمتة تجاوز الفشل (Failover)، والنسخ المتماثل، وإدارة العناقيد (Clusters) في البيئات الموزعة. ينسق النظام انعكاس البيانات المتزامن وغير المتزامن ويستخدم آلية اكتشاف الخدمة لاكتشاف عناوين عقد قاعدة البيانات ديناميكياً. ويوجه حركة مرور العميل إلى المثيل الأساسي الحالي من خلال وكيل للحفاظ على وصول التطبيق أثناء تبديل الأدوار. يغطي المشروع التعافي من الكوارث من خلال التعافي في نقطة زمنية وصيانة عناقيد احتياطية في مواقع متعددة. كما يتضمن قدرات لتأمين اتصالات قاعدة البيانات عبر التشفير وأتمتة اكتشاف تغييرات عناوين العمليات داخل الشبكة.

LXD هو مدير حاويات نظام ومدير أجهزة افتراضية يوفر واجهة موحدة لتشغيل أنظمة Linux كاملة. يعمل كمنسق لمجموعات الحاويات، ومحول تنسيق صور، ومدير بنية تحتية يكشف التحكم من خلال REST API وSDKs خاصة بلغات معينة. يتميز المشروع بتوفير تجريد موحد للحاويات والأجهزة الافتراضية، حيث يعامل كلاهما كمثيلات عامة ضمن طبقة إدارة واحدة. يدعم تنسيق المجموعات الموزعة لمزامنة الحالة وتوزيع أعباء العمل عبر عقد مادية متعددة. يغطي النظام التحكم البرمجي في البنية التحتية عبر واجهة إدارة قائمة على REST ونموذج تنسيق قائم على الخادم (daemon). يتضمن قدرات لتحويل الصور عبر التنسيقات، وتوسيع نطاق المجموعات متعددة العقد، وتنفيذ مثيلات الأجهزة الافتراضية التي تتطلب محاكاة كاملة للأجهزة.

هذا المشروع عبارة عن معمارية مؤسسية شاملة لبناء أنظمة موزعة متعددة المستأجرين، تم تنفيذها كمنصة خدمات مصغرة Spring Cloud. يوفر إطار عمل كاملاً لإدارة الخدمات المصغرة، مع التركيز على معمارية بيانات متعددة المستأجرين وتوفير الهوية المركزية. تتميز المنصة بنهجها المتكامل للهوية والأمان، حيث تستخدم مزود هوية OAuth2 لإدارة تسجيل الدخول الموحد، والتحكم في الوصول القائم على الأدوار، وإصدار رموز JWT عبر الخدمات الموزعة. كما تفصل الحدود التنظيمية من خلال عزل بيانات متعدد المستأجرين، مما يضمن تقسيم الموارد والبيانات منطقياً أو فيزيائياً بين المستأجرين المختلفين. يغطي النظام سطحاً واسعاً من القدرات الموزعة، بما في ذلك حوكمة الخدمة من خلال توجيه بوابة API وكسر الدائرة، وتنسيق البيانات عبر المعاملات الموزعة وآليات القفل. كما يتضمن مكدس مراقبة موزع لتتبع الطلبات والسجلات المركزية، إلى جانب مزامنة محرك البحث في الوقت الفعلي والمراسلة غير المتزامنة القائمة على الأحداث. يتم دعم سير عمل التطوير من خلال أدوات أتمتة لإنشاء كود التطبيق وتغليف الملفات الثنائية الخاصة بالمنصة.

esProc هو إطار عمل ETL موزع ومحرك حساب بيانات مضمن. يوفر لغة بيانات مهيكلة لآلة Java الافتراضية مصممة للاستعلامات العلائقية، وحساب البيانات المعقدة، وتحليل البيانات المهيكلة. يتميز النظام بواجهة استعلام بيانات باللغة الطبيعية تستفيد من النماذج اللغوية الكبيرة لترجمة الطلبات إلى استعلامات قابلة للتنفيذ مقابل مجموعات البيانات المهيكلة. يستخدم النظام لغة استعلام خاصة بالمجال ذات بناء جملة موجز لإنشاء علاقات الجداول واسترداد المعلومات. تغطي المنصة تكامل البيانات عبر مصادر علائقية و NoSQL متباينة وتدير سير عمل ETL لنقل البيانات بين الملفات وقواعد البيانات. تشمل الإمكانيات الإضافية إنشاء تقارير البيانات المهيكلة، وواجهة شبكة في الوقت الفعلي لتصور التنفيذ خطوة بخطوة، والقدرة على دمج مكتبات خارجية مشتركة مخصصة.

FreeSql هو أداة تعيين كائنات-علاقات (ORM) في .NET وطبقة وصول للبيانات تترجم الكود الموجه للكائنات إلى SQL لمزودي قواعد بيانات علائقية متعددين. يعمل كمنشئ استعلام SQL بأسلوب fluent ومزامن لمخطط قاعدة البيانات، مما يسمح للمطورين بمواءمة هياكل جداول وفهارس قاعدة البيانات مع تعريفات فئات الكيانات. تم تحسين إطار العمل خصيصاً لـ .NET Native AOT لضمان تقليل بصمات الذاكرة وأوقات بدء تشغيل أسرع. يتضمن مديراً لحركة مرور قاعدة البيانات لتوزيع الحمل من خلال تقسيم القراءة والكتابة، وتقسيم الجداول الديناميكي (sharding)، وعزل البيانات القائم على المستأجر. تشمل الإمكانيات الواسعة استيعاب البيانات عالي الأداء باستخدام آليات النسخ المجمع الخاصة بالمزود، والاستعلام المتقدم مع دوال النافذة و CTEs المتكررة، والمراقبة القائمة على AOP لتدقيق تغييرات البيانات. يوفر النظام أيضاً أدوات إدارة المخطط للترحيلات المؤتمتة وأدوات التطوير لتوليد فئات الكيانات من بيانات تعريف قاعدة البيانات.

InternetArchitect is an educational collection of documents and source code designed as a high concurrency architecture course. It serves as a distributed systems implementation guide, providing technical patterns and practical examples for designing scalable internet architectures that maintain stability under heavy traffic loads. The project focuses on high-performance database optimization and microservices design patterns. It covers strategies for reducing latency and increasing throughput via database sharding and proxy layers, as well as coordinating global state across distributed clus

This project is a markdown-based personal knowledge base and digital learning journal used to store notes and summaries from books and technical literature. It serves as a reading summary repository and technical reference library for archiving key takeaways and insights from non-fiction and professional materials. The collection functions as a digital garden for curating insights from books, articles, and videos. It specifically focuses on distilling complex architectural patterns, technical concepts, and professional leadership principles into a searchable format for long-term reference. T

FlagAI is a distributed deep learning framework and platform designed for the end-to-end lifecycle of large-scale foundation models. It provides a toolkit for training, fine-tuning, and deploying large language models and multi-modal systems across multi-node computing clusters. The project features hardware-agnostic compute abstractions to ensure consistent execution across different accelerators. It includes a dedicated library for parameter-efficient fine-tuning, allowing large neural networks to be adapted to specific tasks with minimal parameter updates and reduced computational overhead

Maestro is a distributed job scheduler and containerized data pipeline tool designed to coordinate complex sequences of tasks. It functions as a Kubernetes workflow orchestrator and MLOps automation platform, utilizing directed acyclic graphs to manage task dependencies and execution order across computing clusters. The system distinguishes itself through the use of isolated container environments for each workflow step, ensuring consistent runtime dependencies. It incorporates an asynchronous event bus to coordinate state transitions and provides lifecycle hook integration that dispatches sy

Oban is a distributed background job processing system and task scheduler that uses PostgreSQL for transactional job storage and reliable execution across multiple nodes. It serves as a PostgreSQL-backed background worker and job queue, coordinating task execution and concurrency through a relational database to ensure delivery guarantees. The system differentiates itself through a distributed workflow orchestrator capable of managing multi-step processing pipelines, dependent job sequencing, and shared context. It provides advanced orchestration tools including job batching, chunked processi

Nano is a distributed application framework designed for building systems using an actor-based messaging model. It functions as a distributed actor framework that decouples components through asynchronous messaging to maintain state isolation across a server cluster. The system acts as a cluster message dispatcher and session-aware request router, tracking client state to route incoming messages to the specific agent holding the session data. It utilizes a distributed agent registry to coordinate the dispatching of messages between multiple application instances acting as agents. The framewo