Awesome GitHub RepositoriesDistributed Data Replication

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

Rook is a Kubernetes storage orchestrator and distributed storage operator that automates the deployment and management of storage clusters. It serves as a multi-protocol storage provider, offering block, file, and object storage capabilities to containerized workloads. The system focuses on providing a self-healing storage cluster that replicates data across hardware nodes to maintain availability and recover from failures. It uses an operator-led model to handle the installation, scaling, and upgrades of storage nodes and daemons. The orchestrator covers a broad range of provisioning servi

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

Fluvio هو منصة تدفق أحداث موزعة ومحرك تدفق سحابي أصلي مصمم لجمع وتخزين ونسخ تدفقات البيانات في الوقت الفعلي عبر مجموعة موزعة. يعمل كخط أنابيب بيانات في الوقت الفعلي لبناء سير عمل ذي حالة يقوم باستيعاب وإثراء وتصدير البيانات بين المصادر والمصارف الخارجية. تتميز المنصة باستخدام WebAssembly لتنفيذ وحدات مجمعة لتحويلات البيانات والفلترة المضمنة. يسمح هذا بتنفيذ منطق أعمال مخصص لإعادة تشكيل المعلومات أثناء الحركة دون الحاجة إلى إعادة تشغيل المجموعة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك استيعاب البيانات القائم على الموصلات من بروتوكولات خارجية، وتخزين غير قابل للتغيير قائم على السجلات مع إدخال/إخراج بدون نسخ، وتوسيع المجموعة الأفقي. يدعم إنشاء خطوط أنابيب معقدة قائمة على الأحداث تستخدم المعالجة ذات الحالة، والتجميعات القائمة على النوافذ، وتوزيع البيانات القائم على التقسيم. يمكن نشر المحرك كثنائي خفيف الوزن على معماريات نظام متنوعة، بما في ذلك أجهزة ARM64 IoT لمعالجة بيانات الحافة.

GlusterFS هو نظام ملفات موزع محدد برمجياً وعنقود تخزين قابل للتوسع يجمع موارد القرص من خوادم متعددة في مساحة اسم عالمية واحدة. يعمل كمنصة تخزين موحدة، مما يسمح بتعريض نفس البيانات الأساسية من خلال واجهات تخزين الملفات، والكتل، والكائنات. يتميز النظام من خلال بنية لا مركزية تستخدم التجزئة المتسقة لتوزيع الملفات عبر عقد الشبكة دون خادم بيانات تعريف مركزي. يضمن سلامة البيانات وتوافرها باستخدام النسخ المتماثل ذاتي الإصلاح، والاتساق القائم على النصاب القانوني لمنع سيناريوهات انقسام الدماغ، والنسخ المتماثل الجغرافي غير المتزامن للتعافي من الكوارث عبر المواقع الجغرافية البعيدة. توفر المنصة تغطية واسعة للإمكانيات عبر تصدير التخزين متعدد البروتوكولات عبر NFS وSamba وiSCSI، بالإضافة إلى إدارة شاملة لوحدات التخزين بما في ذلك لقطات في الوقت المناسب، وحصص التخزين، وتوسيع السعة المرن. تتم إدارة الأمان من خلال تشفير TLS للبيانات أثناء النقل، وتكامل إدارة الهوية، والتحكم الدقيق في الوصول POSIX. البرنامج متاح كحزم ثنائية من خلال مستودعات المجتمع لتوزيعات Linux المختلفة.

m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi

Iggy هي منصة بث رسائل موزعة ووسيط رسائل متعدد البروتوكولات يعمل كمخزن سجلات موزع ومستمر. يوفر بنية تحتية لنشر واستهلاك الرسائل الثنائية باستخدام سجل إلحاق فقط (Append-only log)، مما يضمن التوافر العالي واتساق البيانات عبر العقد من خلال Viewstamped Replication. تتميز المنصة ببنية تحتية متخصصة لبث نماذج اللغة الكبيرة (LLM)، والتي تستخدم بروتوكول خادم لربط نماذج اللغة الكبيرة ببيانات البث وعناصر تحكم النظام. يتضمن ذلك بروتوكولات موحدة لإدارة السياق وربط البيانات عبر HTTP أو الإدخال والإخراج القياسي. يغطي النظام مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع إضافات المصدر والمصب النمطية، وتنسيق مجموعة المستهلكين للتوسع الأفقي، ودعم النقل متعدد البروتوكولات عبر TCP و QUIC و HTTP و WebSocket. كما يدمج بدائيات أمان مثل تشفير AES-256-GCM للبيانات في حالة السكون وأثناء النقل، ويوفر إمكانية المراقبة عبر مقاييس Prometheus، وتتبع OpenTelemetry، ولوحة تحكم ويب تشغيلية. يمكن نشر الخادم باستخدام صور الحاويات وتنسيقه من خلال Kubernetes.

Dynomite هو طبقة تقسيم بيانات موزعة (sharding) ووكيل محرك تخزين مفتاح-قيمة. يعمل كطبقة توزيع تقوم بتقسيم البيانات ونسخها عبر عقد متعددة، مما يحول مخازن البيانات ذات الخادم الواحد إلى أنظمة نظير إلى نظير قابلة للتوسع. يعمل النظام كنسخة متماثلة للبيانات عبر مراكز بيانات متعددة، حيث يقوم بمزامنة البيانات بين مواقع جغرافية مختلفة لضمان المرونة والتوافر العالي أثناء فشل الموقع. يدير توزيع بيانات مفتاح-قيمة لتمكين توسيع نطاق مخزن البيانات الخطي والتخزين المتكرر. يوفر المشروع قدرات لتقسيم محرك التخزين وشبكات التوافر العالي. يقوم بتوجيه الطلبات الواردة إلى محركات تخزين محلية أو بعيدة مع الحفاظ على بروتوكولات الاتصال وتأمين الاتصال بين العقد عبر التشفير.

go-fastdfs هو نظام ملفات موزع وخادم تخزين كائنات مصمم لبناء تخزين سحابي خاص. يوفر تنفيذاً للتخزين متوافقاً مع FastDFS يدير مجموعات من عقد التخزين للتعامل مع عمليات رفع وتنزيل الملفات على نطاق واسع. يركز النظام على التوافر العالي من خلال بنية لا مركزية تقوم تلقائياً بمزامنة البيانات وإصلاح الأعطال عبر أجهزة متعددة دون منسق مركزي. ويدعم بشكل خاص تخزين الملفات القابلة للاستئناف عبر HTTP، مما يسمح بإيقاف عمليات النقل الكبيرة واستئنافها من آخر بايت ناجح للتعامل مع عدم استقرار الشبكة. تشمل الإمكانيات الأساسية تحسين موارد التخزين من خلال إلغاء تكرار المحتوى القائم على SHA1 ودمج الملفات الصغيرة لتقليل استهلاك الـ inode في نظام الملفات. يتضمن المشروع أيضاً خط أنابيب لمعالجة الصور يقوم بالتحجيم وتغيير الحجم الديناميكي للصور أثناء عملية التنزيل ويؤمن الوصول إلى الملفات باستخدام المصادقة القائمة على الرموز (token-based). يمكن نشر النظام عبر حاويات Docker.

Olric is a distributed data grid and in-memory key-value store that partitions and replicates data across a cluster of servers. It serves as a shared memory system for managing distributed maps, performing atomic operations, and acting as an in-memory data cache. The system provides a distributed locking mechanism for concurrency control and a pub-sub messaging system that broadcasts and routes messages over named channels across the cluster. The platform covers wide-ranging capabilities including cluster management and orchestration, data replication with configurable quorums, and automated

Garage is a distributed object storage system that provides an S3-compatible API gateway. It is designed to synchronize metadata across distributed nodes using conflict-free replicated data types and Merkle-tree state alignment to maintain cluster-wide consistency. The system ensures data resilience through zone-aware replication, distributing data copies across multiple physical locations. It employs quorum-based request routing and versioned layout management to validate and commit cluster configuration changes. The project covers a broad range of operational capabilities, including automa