Awesome GitHub RepositoriesDistributed Shared Memory

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

Skynet is a distributed game server framework designed for building scalable online game backends. It utilizes distributed actor-based clusters and real-time network communication to manage high-concurrency session coordination across multiple nodes. The framework includes a cluster management orchestrator for coordinating services via cluster-wide messaging and dynamic configuration updates. It features a multi-protocol network gateway supporting TCP, UDP, and WebSockets, alongside a data encoding layer using BSON and Sproto serialization for efficient information transfer between distribute

Dask هو إطار عمل للحوسبة المتوازية وجدول مهام موزع مصمم لتوسيع نطاق سير عمل علوم البيانات في Python من أجهزة فردية إلى مجموعات (clusters) كبيرة. يعمل كمدير موارد للمجموعة يقوم بتنسيق المنطق الحسابي من خلال تمثيل المهام وتبعياتها كرسوم بيانية موجهة غير دورية. تسمح هذه البنية للنظام بأتمتة توزيع أعباء العمل عبر الأجهزة المتاحة مع إدارة متطلبات التنفيذ المعقدة. يتميز المشروع بمحرك تقييم كسول يؤجل عمليات البيانات حتى يتم طلبها صراحة، مما يتيح تحسين الرسم البياني العالمي وتخصيص الموارد بكفاءة. يتضمن خاصية تسريب البيانات الواعية بالذاكرة لمنع تعطل النظام عند معالجة مجموعات البيانات التي تتجاوز الذاكرة المتاحة، ويستخدم دمج الرسم البياني للمهام لدمج تسلسلات العمليات في خطوات تنفيذ واحدة، مما يقلل من عبء الجدولة والاتصال بين العقد. توفر المنصة سطح قدرات شاملاً لتحليلات البيانات واسعة النطاق، بما في ذلك دعم التعلم الآلي الموزع، وتكامل الحوسبة عالية الأداء، ومعالجة البيانات المتوازية. توفر أدوات واسعة النطاق لإدارة دورة حياة المجموعة، وتوصيف الأداء، والمراقبة في الوقت الفعلي لتنفيذ المهام. يمكن للمستخدمين نشر هذه البيئات عبر بنية تحتية متنوعة، بما في ذلك الأجهزة المحلية، ومزودي السحابة، والأنظمة الحاوية، ومجموعات الحوسبة عالية الأداء.

This project is a Go language library that provides a programmatic interface for interacting with the Kubernetes API server. It serves as a client for managing cluster resources, offering both typed interfaces for compile-time safety and dynamic interfaces for unstructured data and custom resource management. The library includes a controller framework designed for building event-driven automation. This framework utilizes informers to maintain local resource caches and rate-limited work queues to decouple event detection from state reconciliation. High availability is supported through a lead

Berty is a peer-to-peer messaging application and framework designed for decentralized private messaging. It utilizes a distributed identity protocol and a decentralized database to enable end-to-end encrypted communication without relying on central servers, phone numbers, or email addresses. The project distinguishes itself through an offline messaging framework that uses Bluetooth Low Energy and multicast DNS for local device discovery. This allows peers to establish direct connections and exchange messages without internet or cellular data, using QR codes for secure contact exchange. The

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Mooncake هو منصة لخدمة نماذج اللغة الكبيرة (LLM) المفككة ومخزن مفتاح-قيمة موزع مصمم لبنية تحتية عالية الأداء للاستنتاج. يعمل كمنسق لذاكرة GPU ونظام إدارة لذاكرة التخزين المؤقت (KV cache) الذي يجمع وينقل ذاكرة التخزين المؤقت للمفاتيح والقيم عبر العناقيد (Clusters) لتسريع الاستنتاج. يتميز النظام بفصل مراحل الاستنتاج (Prefill وDecode) إلى عناقيد أجهزة متميزة لتحسين استخدام الموارد. يستخدم ذاكرة تخزين مؤقت موزعة عالية الأداء تعتمد على RDMA مع عمليات نقل بدون نسخ (Zero-copy) لنقل البيانات بين عقد الحوسبة، متجاوزًا وحدة المعالجة المركزية (CPU) لتقليل التأخير والحمل الزائد. تغطي المنصة مجالات قدرات واسعة بما في ذلك تجميع الذاكرة الموزعة، وتوجيه ذاكرة المسرع عبر CXL، وتفريغ التخزين متعدد المستويات إلى أقراص SSD. يدير النظام حالة العنقود من خلال خدمات تنسيق البيانات الوصفية، ويطبق حوكمة الموارد عبر حماية الكائنات القائمة على الإيجار وطرد ذاكرة التخزين المؤقت القائم على العلامات المائية. البرنامج مهيأ للنشر في حاويات (Containerized) مع دعم لشبكات المضيف وتعيين أجهزة العتاد.

SparkInternals is a technical reference and architecture guide detailing the internal design and implementation of the Apache Spark distributed computing engine. It serves as a study of big data engine analysis, focusing on how the system manages cluster execution and the interaction between driver nodes, executors, and workers. The project provides a detailed breakdown of how logical plans are converted into physical execution stages. It specifically analyzes the mechanics of data shuffle operations, memory management, and the coordination of distributed job scheduling. The documentation co

هذا المشروع عبارة عن خادم تطبيقات PHP قائم على الأحداث وجسر خادم HTTP يسمح بتشغيل تطبيقات Laravel على محرك مستمر. من خلال إبقاء التطبيق في الذاكرة، فإنه يلغي حمل التمهيد المطلوب عادةً لكل طلب فردي لزيادة سرعات الطلب. يتضمن الخادم صندوق حماية لحالة التطبيق يعزل حاوية التطبيق بين الطلبات لمنع تسرب البيانات وتلوث الحالة. كما يتميز بمخزن بيانات ذاكرة مشترك لاسترجاع المعلومات عبر عمليات عمال متعددة ويوفر تنفيذ خادم WebSocket لاتصال مستمر ثنائي الاتجاه. يدعم النظام عمليات قاعدة البيانات غير المحظورة وبرامج تشغيل الإدخال/الإخراج غير المتزامنة للتعامل مع طلبات متعددة في وقت واحد. للتطوير، يتضمن سير عمل إعادة التحميل السريع الذي يعيد تشغيل الخادم تلقائياً عند اكتشاف تغييرات في الكود المصدري.

Octane هو مسرع تطبيقات PHP ومدير عمليات يقوم بتحميل التطبيق في الذاكرة للقضاء على عبء البدء المرتبط بكل طلب فردي. يعمل كجسر وقت تشغيل لمحركات عالية التزامن مثل Swoole و RoadRunner، مستخدماً عمليات عاملة (Worker processes) دائمة للتعامل مع طلبات HTTP الواردة. يتضمن المشروع مديراً لحالة التطبيق في الذاكرة يستخدم جداول ذرية لمشاركة البيانات عبر العمال، ومشغلاً للمهام المتزامنة ينفذ عمليات متعددة بالتوازي لتقليل زمن انتقال الطلب الإجمالي. كما يدير دورات حياة العمال من خلال تدوير العمليات بعد عدد معين من الطلبات لمنع تسرب الذاكرة. تغطي الإمكانيات الإضافية جدولة المهام الخلفية الدورية وإعادة التحميل التلقائي للتطوير، الذي يراقب كود المصدر بحثاً عن تعديلات لتشغيل عمليات إعادة تشغيل الخادم.

This project is a high-performance application server integration that enables persistent memory execution for PHP applications. By keeping the framework loaded in memory across requests, it eliminates the overhead of repeated bootstrapping, significantly increasing execution speed and reducing latency. It functions as a unified service delivery platform capable of handling HTTP, WebSocket, TCP, and UDP traffic simultaneously within a single instance. The server distinguishes itself through an event-driven worker pool that manages concurrent traffic and offloads time-consuming operations to a

هذا المشروع عبارة عن إطار عمل لتطوير وتنسيق وكلاء البرمجيات المستقلين داخل تطبيقات JVM. يوفر مجموعة أدوات لتضمين الذكاء الاصطناعي مباشرة في منطق العمل، مما يتيح للوكلاء أداء مهام معقدة من خلال التخطيط الديناميكي الموجه نحو الأهداف بدلاً من آلات الحالة الجامدة. من خلال الاستفادة من التعليقات التوضيحية التعريفية، يسمح إطار العمل للمطورين بتحديد قدرات الوكيل ودمجها في نماذج نطاق كائنية التوجه موجودة. يتميز إطار العمل بطبقة تجريد محايدة للبائع تسمح بالتبديل السلس لنماذج اللغة المحلية والسحابية في وقت التشغيل. وهو يدعم التعاون الموزع، مما يتيح للوكلاء المستقلين مشاركة المعلومات وتفويض المهام عبر خدمات مختلفة. لضمان الرؤية في اتخاذ القرار المستقل، يتضمن النظام أدوات شاملة تلتقط آثار التنفيذ، ومقاييس الأداء، وسجلات العمليات، والتي يمكن تصديرها إلى منصات مراقبة خارجية. بالإضافة إلى التنسيق الأساسي، تتضمن المنصة مجموعة من الأدوات لإدارة دورات حياة الوكيل، بما في ذلك اكتشاف المهارات المؤتمت، والتحقق، وتمهيد البيئة. وهي تتميز بواجهة قائمة على المحطة الطرفية للدردشة التفاعلية وتنفيذ المهام، إلى جانب بدائيات الأمان التي تفرض حدود الوصول لعمليات نظام الملفات. يحتفظ إطار العمل أيضاً بمستودع ذاكرة مركزي لتوفير سياق مشترك عبر عمليات الوكيل الموزعة.

Varnish Cache is an HTTP reverse proxy and content accelerator designed to sit in front of web servers. It functions as a caching engine that stores frequently accessed web content in memory to reduce the processing load on backend origin servers and accelerate delivery times for end users. The software distinguishes itself through a domain-specific configuration language that compiles request-handling logic into machine-level bytecode for execution at wire speed. It utilizes a multi-threaded event loop to manage concurrent connections and employs shared-memory object storage alongside virtua