Awesome GitHub RepositoriesDatabase Replication

هذا المشروع عبارة عن مورد تعليمي شامل ودليل دراسي يركز على بنية الأنظمة الموزعة وتصميم البنية التحتية للـ backend. يوفر منهجاً منظماً لإتقان مبادئ القابلية للتوسع، والموثوقية، والأداء المطلوبة لتصميم أنظمة برمجية معقدة. يتميز المستودع بتقديم نهج منهجي للتحضير للمقابلات التقنية، حيث يدمج أنماط التصميم، والمقايضات المعمارية، وأدوات التكرار المتباعد لمساعدة المستخدمين على الاحتفاظ بالمفاهيم المعقدة. ويؤكد على التحليل القائم على القيود، حيث يعلم المستخدمين كيفية تقييم المتطلبات المتنافسة مثل زمن الوصول (latency)، والاتساق، والتوافر عند صياغة التصاميم المعمارية. يغطي المحتوى طيفاً واسعاً من قدرات تصميم النظام، بما في ذلك استراتيجيات توسيع قواعد البيانات، وإدارة حركة المرور، وتحسين البنية التحتية. ويفصل تقنيات التوسع الأفقي، والتخزين المؤقت متعدد الطبقات، والتواصل غير المتزامن، واكتشاف الخدمات، مع توفير أطر عمل لإجراء تقديرات الموارد وتخطيط السعة. يتم تنظيم التوثيق كدليل دراسي، مما يوفر مساراً منهجياً عبر أساسيات هندسة الـ backend وتصميم الأنظمة واسعة النطاق.

TiDB is a horizontally scalable, distributed SQL database designed to provide consistent transactional storage and high-performance analytical processing within a single unified architecture. It utilizes a decoupled compute-storage design and a distributed key-value storage layer to ensure horizontal scalability and efficient range-based queries. By employing a consensus-based replication algorithm, the system maintains high availability and automatic failover across multiple nodes and geographical regions. The platform distinguishes itself through its hybrid transactional and analytical proc

Sglang is a high-performance inference engine and serving system designed for large language and multimodal models. It provides a programmable interface for orchestrating complex generation workflows, enabling developers to coordinate multi-turn dialogues, tool invocations, and reasoning chains through a domain-specific language. The platform is built to support production-scale deployments, offering an OpenAI-compatible API that allows for integration with existing application ecosystems. The system distinguishes itself through a disaggregated architecture that separates compute-intensive pr

Dolt is a relational database engine that integrates version control directly into the database management layer. It functions as a version-controlled SQL database that tracks every row and schema change using a commit-based history, allowing users to branch, merge, and audit data modifications. By implementing a wire-protocol-compatible server, the system enables standard SQL clients and tools to interact with versioned data as if they were connecting to a traditional relational database. The platform distinguishes itself by applying repository-style workflows to data management, including s

KeyDB is a multithreaded in-memory key-value store and distributed cache. It functions as a NoSQL database utilizing multi-version concurrency control to execute non-blocking queries and scans. The project is a multithreaded fork of Redis that maintains protocol compatibility while utilizing a multithreaded architecture to scale across multi-core hardware. It distinguishes itself with flash-tiered storage, allowing the system to offload data from primary RAM to SSD or flash storage to increase total capacity. The system supports high availability through active-active mesh replication and mu

all-in-one is a containerized deployment system designed to install and manage a complete suite of productivity and collaboration services. It functions as a cloud suite deployer that orchestrates the installation of a self-hosted content platform, incorporating necessary dependencies via Docker or Kubernetes. The project distinguishes itself by providing a web-based dashboard for orchestrating, updating, and monitoring the lifecycle of service containers. It also serves as a local AI inference server, enabling the execution of generative text models, image diffusion, and speech processing on

immudb is a tamperproof database that maintains an immutable record of entries using cryptographic commit logging. It ensures verifiable database integrity by utilizing Merkle trees to generate membership and consistency proofs that detect unauthorized data alterations. The system employs a multi-model storage engine that unifies key-value, document, and relational data structures within a single immutable backend. It provides compatibility with the PostgreSQL wire protocol, allowing it to integrate with standard SQL clients, ORMs, and database tools. The project covers broad capabilities in

RedisInsight is a graphical user interface and management tool for browsing, analyzing, and administering Redis databases. It provides a visual environment for exploring key-value data structures, managing database instances, and performing data analysis across different operating systems and deployments. The tool distinguishes itself by providing dedicated visual managers for complex operations, including a vector database manager for configuring embeddings and similarity searches, a query workbench for executing raw commands and Lua scripts, and a performance monitoring dashboard for tracki

Apache Tomcat is an open-source implementation of the Jakarta Servlet, Pages, Expression Language, and WebSocket specifications, serving as a container for running Java web applications. It provides a modular architecture with a servlet container, connector abstraction for multiple I/O models, and a pipeline-based request processing system that handles cross-cutting concerns through composable components. The server supports container-managed security with configurable realms for authentication against JDBC, LDAP, or memory-based credential stores, and offers TLS encryption with optional Open

Otter is a distributed database synchronization system and change data capture tool designed to replicate data between databases across multiple geographic regions. It functions as a synchronization orchestrator and ETL data pipeline that mirrors records and associated files in real time. The system employs incremental log parsing to capture database changes and utilizes a consistency-based convergence algorithm and loop-avoidance logic to manage bi-directional replication. It processes data through a pipeline of selection, extraction, transformation, and loading to handle joins and format co

Patroni is a high availability manager and cluster orchestrator for PostgreSQL. It functions as an automatic failover controller and replication manager that ensures continuous database availability by automating leader election and promoting standby nodes during failures. The system maintains a consistent cluster state by acting as a distributed consensus coordinator. It synchronizes configuration and manages leader elections through integration with distributed configuration stores such as etcd, ZooKeeper, or Consul. Its broader capabilities include managing both synchronous and asynchrono

CloudNativePG is a Kubernetes operator designed for the administration, lifecycle management, and high availability of PostgreSQL database clusters. It functions as a declarative orchestrator that manages database instances through custom resources and manifests. The project distinguishes itself by automating complex operational tasks, including primary election and failover management via streaming physical replication. It provides specialized tools for database version migrations, supporting both offline in-place upgrades and online migrations through logical replication. The operator cove

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Orchestrator هو نظام عالي التوفر ومدير نسخ متماثل لمجموعات قواعد بيانات MySQL. يعمل كأداة لأتمتة تجاوز الفشل ومصور للطوبولوجيا مصمم لاكتشاف فشل السيد (master) وترقية النسخ الاحتياطية لتقليل وقت تعطل النظام. يركز المشروع على إدارة وإعادة تكوين طوبولوجيا النسخ المتماثل لـ MySQL للحفاظ على توزيع متسق للبيانات. يستخدم زحف اكتشاف الطوبولوجيا لرسم هياكل النسخ المتماثل ويحدد حالات الفشل النشطة داخل مجموعة قاعدة البيانات. يوفر النظام قدرات لاستعادة المجموعة الآلية، وتتبع المثيلات المدرك للموقع، وإعادة تكوين الطوبولوجيا القائمة على القيود. كما يحتفظ بسجل تدقيق لتسجيل الحالة لتتبع تغييرات الطوبولوجيا التاريخية وأحداث تجاوز الفشل.

MySQL replication topology management and HA

AliSQL is a fork of MySQL by Alibaba that extends the relational database management system with enhancements for high performance, scalability, and enterprise-grade availability. It retains the core MySQL identity as a SQL-based database for storing, organizing, and retrieving structured data, while adding optimizations for large-scale transactional and analytical workloads. The project differentiates itself through a set of Alibaba-specific improvements, including a columnar engine for accelerating analytical queries directly on MySQL tables, and a distributed, shared-nothing NDB Cluster en

LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes

go-mysql هو مجموعة أدوات للغة البرمجة Go مصممة لتنفيذ معالجات بروتوكول MySQL، وأنظمة نسخ السجل الثنائي، والخوادم الوهمية، وأدوات تحليل المخططات. توفر المكتبات اللازمة للتفاعل مع خوادم MySQL من خلال بروتوكولات الشبكة الأصلية وتدفقات السجل الثنائي. يمكن المشروع من إنشاء وكلاء قاعدة بيانات مخصصين أو خوادم وهمية عن طريق تحليل وفك تشفير حزم الشبكة منخفضة المستوى. كما يتضمن أداة نسخ متماثل لبث ومعالجة السجلات الثنائية لمزامنة البيانات عبر أنظمة تخزين مختلفة، إلى جانب محلل مخططات لاستخراج وتحليل تعريفات هيكل قاعدة البيانات. تغطي مجموعة الأدوات مجموعة واسعة من قدرات تكامل قاعدة البيانات، بما في ذلك إدارة الاتصال، وتنفيذ الاستعلام، وإدارة سير عمل نسخ البيانات في الوقت الفعلي. كما تدعم أتمتة ترحيلات المخططات ومزامنة السجلات مع أنظمة التخزين الخارجية.

LiteFS هو نظام ملفات موزع يعتمد على FUSE مصمم لنسخ قواعد بيانات SQLite عبر مجموعة من الأجهزة. يعمل كطبقة توفر عالية تقوم بمزامنة البيانات عن طريق اعتراض عمليات الكتابة لضمان الاتساق عبر عقد خادم متعددة. يدير النظام تخزين قاعدة البيانات الموزعة عن طريق تعيين عمليات الملفات إلى طلبات الشبكة عبر برنامج تشغيل في مساحة المستخدم. وهذا يسمح بمزامنة البيانات عبر مناطق متعددة وتوزيع محتوى قاعدة البيانات على عقد الحافة، مما يسهل القراءات المحلية مع عمليات كتابة عالمية متزامنة. تستخدم عملية النسخ المتماثل شحن سجلات الكتابة المسبقة (WAL) والاعتراض الواعي بالمعاملات لبث التغييرات الملتزم بها من العقدة الأساسية إلى النسخ الاحتياطية. يتم تمهيد النسخ الجديدة من خلال تهيئة قائمة على اللقطات (Snapshots) قبل الانتقال إلى النسخ المتماثل للسجلات التزايدي.

Stolon هو مدير أوركسترا لقواعد بيانات سحابية أصلية لـ PostgreSQL. يعمل كمدير توفر عالي مصمم لأتمتة تجاوز الفشل (Failover)، والنسخ المتماثل، وإدارة العناقيد (Clusters) في البيئات الموزعة. ينسق النظام انعكاس البيانات المتزامن وغير المتزامن ويستخدم آلية اكتشاف الخدمة لاكتشاف عناوين عقد قاعدة البيانات ديناميكياً. ويوجه حركة مرور العميل إلى المثيل الأساسي الحالي من خلال وكيل للحفاظ على وصول التطبيق أثناء تبديل الأدوار. يغطي المشروع التعافي من الكوارث من خلال التعافي في نقطة زمنية وصيانة عناقيد احتياطية في مواقع متعددة. كما يتضمن قدرات لتأمين اتصالات قاعدة البيانات عبر التشفير وأتمتة اكتشاف تغييرات عناوين العمليات داخل الشبكة.