Awesome GitHub RepositoriesClient-Server Data Synchronization

IPFS is a peer-to-peer hypermedia protocol and content-addressed storage system that identifies data by cryptographic hashes rather than network locations. It enables the creation of a decentralized web by organizing files and directories as directed acyclic graphs of linked content identifiers. The project differentiates itself through the use of a distributed hash table for locating peers and a system of signed records to map human-readable names to changing content. It also provides HTTP gateways that translate standard web requests into peer-to-peer queries, allowing decentralized data to

FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides

Rook is a Kubernetes storage orchestrator and distributed storage operator that automates the deployment and management of storage clusters. It serves as a multi-protocol storage provider, offering block, file, and object storage capabilities to containerized workloads. The system focuses on providing a self-healing storage cluster that replicates data across hardware nodes to maintain availability and recover from failures. It uses an operator-led model to handle the installation, scaling, and upgrades of storage nodes and daemons. The orchestrator covers a broad range of provisioning servi

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

deepstream.io is an open-source realtime server that synchronizes JSON records, events, and remote procedure calls across clients and backend services. It functions as a realtime data sync server, event pub/sub server, record database server, and RPC server, all within a single platform. The server authenticates and authorizes every message using multiple strategies including JWT, HTTP, and file-based credentials, with a declarative permission language controlling access to records, events, and RPCs at a granular level. The platform distinguishes itself through its combination of realtime dat

This project is a JavaScript spreadsheet component and web-based data table that provides an interactive grid for managing tabular data. It functions as a cross-framework UI component compatible with React, Vue, and jQuery, and can also be embedded as a standalone web component. The grid is specifically designed for XLSX interoperability, allowing users to import and export XLSX files while preserving formulas and styles. It distinguishes itself through real-time collaboration for simultaneous multi-user editing and a flexible system for creating custom cell editors and specialized column typ

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Taskwarrior is a command-line task manager that lets you create, modify, filter, and complete to-do items directly from the terminal. It stores all tasks in a single plain-text file for portability and manual editing, and includes a custom expression language for selecting tasks by status, priority, tags, and date ranges. The tool distinguishes itself through several integrated capabilities. It computes a numeric urgency score for each task based on weighted factors like age, tags, and due date to determine ordering. A recurrence template engine generates new task instances from a template af

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

Fluvio هو منصة تدفق أحداث موزعة ومحرك تدفق سحابي أصلي مصمم لجمع وتخزين ونسخ تدفقات البيانات في الوقت الفعلي عبر مجموعة موزعة. يعمل كخط أنابيب بيانات في الوقت الفعلي لبناء سير عمل ذي حالة يقوم باستيعاب وإثراء وتصدير البيانات بين المصادر والمصارف الخارجية. تتميز المنصة باستخدام WebAssembly لتنفيذ وحدات مجمعة لتحويلات البيانات والفلترة المضمنة. يسمح هذا بتنفيذ منطق أعمال مخصص لإعادة تشكيل المعلومات أثناء الحركة دون الحاجة إلى إعادة تشغيل المجموعة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك استيعاب البيانات القائم على الموصلات من بروتوكولات خارجية، وتخزين غير قابل للتغيير قائم على السجلات مع إدخال/إخراج بدون نسخ، وتوسيع المجموعة الأفقي. يدعم إنشاء خطوط أنابيب معقدة قائمة على الأحداث تستخدم المعالجة ذات الحالة، والتجميعات القائمة على النوافذ، وتوزيع البيانات القائم على التقسيم. يمكن نشر المحرك كثنائي خفيف الوزن على معماريات نظام متنوعة، بما في ذلك أجهزة ARM64 IoT لمعالجة بيانات الحافة.

GlusterFS هو نظام ملفات موزع محدد برمجياً وعنقود تخزين قابل للتوسع يجمع موارد القرص من خوادم متعددة في مساحة اسم عالمية واحدة. يعمل كمنصة تخزين موحدة، مما يسمح بتعريض نفس البيانات الأساسية من خلال واجهات تخزين الملفات، والكتل، والكائنات. يتميز النظام من خلال بنية لا مركزية تستخدم التجزئة المتسقة لتوزيع الملفات عبر عقد الشبكة دون خادم بيانات تعريف مركزي. يضمن سلامة البيانات وتوافرها باستخدام النسخ المتماثل ذاتي الإصلاح، والاتساق القائم على النصاب القانوني لمنع سيناريوهات انقسام الدماغ، والنسخ المتماثل الجغرافي غير المتزامن للتعافي من الكوارث عبر المواقع الجغرافية البعيدة. توفر المنصة تغطية واسعة للإمكانيات عبر تصدير التخزين متعدد البروتوكولات عبر NFS وSamba وiSCSI، بالإضافة إلى إدارة شاملة لوحدات التخزين بما في ذلك لقطات في الوقت المناسب، وحصص التخزين، وتوسيع السعة المرن. تتم إدارة الأمان من خلال تشفير TLS للبيانات أثناء النقل، وتكامل إدارة الهوية، والتحكم الدقيق في الوصول POSIX. البرنامج متاح كحزم ثنائية من خلال مستودعات المجتمع لتوزيعات Linux المختلفة.

m3 is a distributed time series database designed for high-resolution metrics and high-cardinality data management. It functions as a scalable storage system and a multi-cluster query engine, providing a distributed metrics aggregator capable of downsampling and summarizing data before it is committed to storage. The project distinguishes itself through a coordinated cluster model using etcd for node membership and shard placement. It supports multiple ingestion protocols, including the Prometheus remote write protocol, InfluxDB line protocol, and Graphite Carbon plaintext protocol, and provi

Derby هو إطار عمل MVC متماثل (isomorphic) ومحرك مزامنة بيانات في الوقت الفعلي مصمم لبناء تطبيقات تعاونية. يعمل كمكتبة ربط بيانات ثنائية الاتجاه ومحرك قوالب يشارك قاعدة كود واحدة بين Node.js والمتصفح لمزامنة الحالة عبر العملاء والخوادم. يتميز إطار العمل باستخدام التحويل التشغيلي (operational transformation) لحل تعارضات البيانات تلقائياً، مما يتيح التحرير المشترك في الوقت الفعلي والتعاون متعدد المستخدمين. يستخدم نموذج طفرة حالة تفاضلي لتقليل التحديثات عن طريق إجراء فحوصات مساواة عميقة، مما يضمن نشر القيم المتغيرة فقط. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك إدارة الحالة التفاعلية، والتوجيه المتماثل، وتطوير مكونات واجهة المستخدم النمطية. يوفر أدوات لإدارة مسارات البيانات المتداخلة، وتنفيذ العرض المتماثل للتحميلات الأولية السريعة، والتكامل مع البرمجيات الوسيطة للخادم. تم تنفيذ النظام باستخدام TypeScript.

Iggy هي منصة بث رسائل موزعة ووسيط رسائل متعدد البروتوكولات يعمل كمخزن سجلات موزع ومستمر. يوفر بنية تحتية لنشر واستهلاك الرسائل الثنائية باستخدام سجل إلحاق فقط (Append-only log)، مما يضمن التوافر العالي واتساق البيانات عبر العقد من خلال Viewstamped Replication. تتميز المنصة ببنية تحتية متخصصة لبث نماذج اللغة الكبيرة (LLM)، والتي تستخدم بروتوكول خادم لربط نماذج اللغة الكبيرة ببيانات البث وعناصر تحكم النظام. يتضمن ذلك بروتوكولات موحدة لإدارة السياق وربط البيانات عبر HTTP أو الإدخال والإخراج القياسي. يغطي النظام مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع إضافات المصدر والمصب النمطية، وتنسيق مجموعة المستهلكين للتوسع الأفقي، ودعم النقل متعدد البروتوكولات عبر TCP و QUIC و HTTP و WebSocket. كما يدمج بدائيات أمان مثل تشفير AES-256-GCM للبيانات في حالة السكون وأثناء النقل، ويوفر إمكانية المراقبة عبر مقاييس Prometheus، وتتبع OpenTelemetry، ولوحة تحكم ويب تشغيلية. يمكن نشر الخادم باستخدام صور الحاويات وتنسيقه من خلال Kubernetes.

Dynomite هو طبقة تقسيم بيانات موزعة (sharding) ووكيل محرك تخزين مفتاح-قيمة. يعمل كطبقة توزيع تقوم بتقسيم البيانات ونسخها عبر عقد متعددة، مما يحول مخازن البيانات ذات الخادم الواحد إلى أنظمة نظير إلى نظير قابلة للتوسع. يعمل النظام كنسخة متماثلة للبيانات عبر مراكز بيانات متعددة، حيث يقوم بمزامنة البيانات بين مواقع جغرافية مختلفة لضمان المرونة والتوافر العالي أثناء فشل الموقع. يدير توزيع بيانات مفتاح-قيمة لتمكين توسيع نطاق مخزن البيانات الخطي والتخزين المتكرر. يوفر المشروع قدرات لتقسيم محرك التخزين وشبكات التوافر العالي. يقوم بتوجيه الطلبات الواردة إلى محركات تخزين محلية أو بعيدة مع الحفاظ على بروتوكولات الاتصال وتأمين الاتصال بين العقد عبر التشفير.

go-fastdfs هو نظام ملفات موزع وخادم تخزين كائنات مصمم لبناء تخزين سحابي خاص. يوفر تنفيذاً للتخزين متوافقاً مع FastDFS يدير مجموعات من عقد التخزين للتعامل مع عمليات رفع وتنزيل الملفات على نطاق واسع. يركز النظام على التوافر العالي من خلال بنية لا مركزية تقوم تلقائياً بمزامنة البيانات وإصلاح الأعطال عبر أجهزة متعددة دون منسق مركزي. ويدعم بشكل خاص تخزين الملفات القابلة للاستئناف عبر HTTP، مما يسمح بإيقاف عمليات النقل الكبيرة واستئنافها من آخر بايت ناجح للتعامل مع عدم استقرار الشبكة. تشمل الإمكانيات الأساسية تحسين موارد التخزين من خلال إلغاء تكرار المحتوى القائم على SHA1 ودمج الملفات الصغيرة لتقليل استهلاك الـ inode في نظام الملفات. يتضمن المشروع أيضاً خط أنابيب لمعالجة الصور يقوم بالتحجيم وتغيير الحجم الديناميكي للصور أثناء عملية التنزيل ويؤمن الوصول إلى الملفات باستخدام المصادقة القائمة على الرموز (token-based). يمكن نشر النظام عبر حاويات Docker.

Helios is a mobile backend as a service providing a server-side platform to manage user accounts, push notifications, and data synchronization for mobile applications. It functions as a REST API framework that automatically generates database tables and standard web service endpoints from defined data models. The project implements specialized services for the Apple ecosystem, including a Passbook service for managing digital passes and device registration. It also provides an in-app purchase verification service to decode purchase receipts and validate product identifiers through external ve

Riak هو مخزن NoSQL موزع للمفاتيح والقيم مصمم للتوافر العالي وتحمل الأخطاء. هو قاعدة بيانات موزعة على طراز Dynamo تستخدم التجزئة المتسقة (Consistent hashing) والتوافر النهائي (Eventual consistency) لتوسيع نطاق البيانات عبر مجموعة من العقد. يعمل النظام كمخزن بيانات جغرافي النسخ، حيث يقوم بمزامنة البيانات عبر مواقع مادية متعددة لتوفير التعافي من الكوارث والحفاظ على التوافر أثناء الانقطاعات الإقليمية. ويستخدم نموذج نسخ متعدد الماستر (Multi-master)، مما يسمح بالكتابة إلى أي عقدة في المجموعة. تغطي المنصة مجالات إمكانيات واسعة بما في ذلك تنسيق المجموعة الموزعة، وإدارة البيانات ذات التوافر العالي، وانتهاء صلاحية البيانات على نطاق واسع. وتدير متانة البيانات من خلال الاتساق القائم على النصاب والتحقق من الكتابة، مع استخدام هياكل بيانات متخصصة لدمج التحديثات المتزامنة تلقائياً.

SyncClipboard is a cross-platform synchronization service and server designed to share clipboard content and history across multiple devices. It utilizes a central server and a REST-based API to facilitate the exchange of data between custom client implementations. The system features a self-hosted synchronization server and a command-line interface for controlling clipboard data and executing application commands via the terminal. It includes an image format converter that downloads original source files and transforms modern image formats into compatible types to ensure successful pasting a