Awesome GitHub RepositoriesDistributed Shared Memory

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

Skynet is a distributed game server framework designed for building scalable online game backends. It utilizes distributed actor-based clusters and real-time network communication to manage high-concurrency session coordination across multiple nodes. The framework includes a cluster management orchestrator for coordinating services via cluster-wide messaging and dynamic configuration updates. It features a multi-protocol network gateway supporting TCP, UDP, and WebSockets, alongside a data encoding layer using BSON and Sproto serialization for efficient information transfer between distribute

Dask एक पैरेलल कंप्यूटिंग फ्रेमवर्क और डिस्ट्रीब्यूटेड टास्क शेड्यूलर है जिसे Python डेटा साइंस वर्कफ़्लो को सिंगल मशीनों से बड़े क्लस्टर्स तक स्केल करने के लिए डिज़ाइन किया गया है। यह एक क्लस्टर रिसोर्स मैनेजर के रूप में कार्य करता है जो कार्यों और उनकी डिपेंडेंसी को डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) के रूप में प्रस्तुत करके कम्प्यूटेशनल लॉजिक को व्यवस्थित करता है। यह आर्किटेक्चर सिस्टम को जटिल निष्पादन आवश्यकताओं का प्रबंधन करते हुए उपलब्ध हार्डवेयर पर वर्कलोड के वितरण को स्वचालित करने की अनुमति देता है। यह प्रोजेक्ट एक लेज़ी इवैल्यूएशन इंजन के माध्यम से खुद को अलग करता है जो डेटा ऑपरेशन्स को तब तक स्थगित कर देता है जब तक कि उन्हें स्पष्ट रूप से अनुरोध न किया जाए, जिससे ग्लोबल ग्राफ ऑप्टिमाइज़ेशन और कुशल संसाधन आवंटन सक्षम होता है। इसमें उपलब्ध मेमोरी से अधिक डेटासेट को प्रोसेस करते समय सिस्टम क्रैश को रोकने के लिए मेमोरी-अवेयर डेटा स्पिलिंग शामिल है, और यह टास्क ग्राफ फ्यूजन का उपयोग ऑपरेशन्स के अनुक्रमों को एकल निष्पादन चरणों में संयोजित करने के लिए करता है, जिससे शेड्यूलिंग ओवरहेड और इंटर-नोड संचार कम हो जाता है। यह प्लेटफॉर्म बड़े पैमाने पर डेटा एनालिटिक्स के लिए एक व्यापक क्षमता सतह प्रदान करता है, जिसमें डिस्ट्रीब्यूटेड मशीन लर्निंग, उच्च-प्रदर्शन कंप्यूटिंग एकीकरण, और पैरेलल डेटा प्रोसेसिंग के लिए समर्थन शामिल है। यह क्लस्टर लाइफसाइकिल मैनेजमेंट, परफॉरमेंस प्रोफाइलिंग, और टास्क निष्पादन की रीयल-टाइम मॉनिटरिंग के लिए व्यापक उपकरण प्रदान करता है। उपयोगकर्ता इन वातावरणों को स्थानीय हार्डवेयर, क्लाउड प्रदाताओं, कंटेनरीकृत सिस्टम, और उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर्स सहित विविध बुनियादी ढांचे पर तैनात कर सकते हैं।

This project is a Go language library that provides a programmatic interface for interacting with the Kubernetes API server. It serves as a client for managing cluster resources, offering both typed interfaces for compile-time safety and dynamic interfaces for unstructured data and custom resource management. The library includes a controller framework designed for building event-driven automation. This framework utilizes informers to maintain local resource caches and rate-limited work queues to decouple event detection from state reconciliation. High availability is supported through a lead

Berty is a peer-to-peer messaging application and framework designed for decentralized private messaging. It utilizes a distributed identity protocol and a decentralized database to enable end-to-end encrypted communication without relying on central servers, phone numbers, or email addresses. The project distinguishes itself through an offline messaging framework that uses Bluetooth Low Energy and multicast DNS for local device discovery. This allows peers to establish direct connections and exchange messages without internet or cellular data, using QR codes for secure contact exchange. The

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Mooncake एक डिसएग्रीगेटेड लार्ज लैंग्वेज मॉडल सर्विंग प्लेटफ़ॉर्म और डिस्ट्रीब्यूटेड की-वैल्यू स्टोर है जिसे हाई-परफ़ॉर्मेंस इन्फरेंस इंफ्रास्ट्रक्चर के लिए डिज़ाइन किया गया है। यह एक GPU मेमोरी ऑर्केस्ट्रेटर और KV कैश मैनेजमेंट सिस्टम के रूप में कार्य करता है जो इन्फरेंस को तेज़ करने के लिए क्लस्टर्स में की-वैल्यू कैश को पूल और ट्रांसफर करता है। यह सिस्टम इन्फरेंस के प्रीफ़िल और डिकोड चरणों को अलग-अलग हार्डवेयर क्लस्टर्स में विभाजित करके संसाधन उपयोग को ऑप्टिमाइज़ करता है। यह कंप्यूट नोड्स के बीच डेटा को मूव करने के लिए ज़ीरो-कॉपी ट्रांसफ़र के साथ एक हाई-परफ़ॉर्मेंस RDMA डिस्ट्रीब्यूटेड कैश का उपयोग करता है, जिससे लेटेंसी और ओवरहेड को कम करने के लिए CPU को बायपास किया जाता है। प्लेटफ़ॉर्म डिस्ट्रीब्यूटेड मेमोरी पूलिंग, CXL के माध्यम से एक्सेलेरेटर मेमोरी रूटिंग, और SSDs में मल्टी-टियर स्टोरेज ऑफ़लोडिंग सहित व्यापक क्षमताओं को कवर करता है। यह मेटाडेटा कोऑर्डिनेशन सर्विसेज़ के माध्यम से क्लस्टर स्टेट को मैनेज करता है और लीज़-बेस्ड ऑब्जेक्ट प्रोटेक्शन व वॉटरमार्क-बेस्ड कैश इविक्शन के माध्यम से संसाधन गवर्नेंस लागू करता है। सॉफ़्टवेयर को कंटेनराइज़्ड डिप्लॉयमेंट के लिए होस्ट नेटवर्किंग और हार्डवेयर डिवाइस मैपिंग के सपोर्ट के साथ पैक किया गया है।

SparkInternals is a technical reference and architecture guide detailing the internal design and implementation of the Apache Spark distributed computing engine. It serves as a study of big data engine analysis, focusing on how the system manages cluster execution and the interaction between driver nodes, executors, and workers. The project provides a detailed breakdown of how logical plans are converted into physical execution stages. It specifically analyzes the mechanics of data shuffle operations, memory management, and the coordination of distributed job scheduling. The documentation co

यह प्रोजेक्ट एक इवेंट-ड्रिवन PHP एप्लिकेशन सर्वर और HTTP सर्वर ब्रिज है जो Laravel एप्लिकेशन्स को एक पर्सिस्टेंट इंजन पर चलने की अनुमति देता है। एप्लिकेशन को मेमोरी में रखकर, यह प्रत्येक व्यक्तिगत रिक्वेस्ट के लिए आवश्यक बूट ओवरहेड को समाप्त करता है ताकि रिक्वेस्ट की गति बढ़ सके। इस सर्वर में एक एप्लिकेशन स्टेट सैंडबॉक्स शामिल है जो डेटा लीकेज और स्टेट पॉल्यूशन को रोकने के लिए रिक्वेस्ट्स के बीच एप्लिकेशन कंटेनर को अलग करता है। इसमें मल्टीपल वर्कर प्रोसेसेस में जानकारी प्राप्त करने के लिए एक शेयर्ड मेमोरी डेटा स्टोर भी है और यह पर्सिस्टेंट, द्विदिश संचार के लिए एक WebSocket सर्वर कार्यान्वयन प्रदान करता है। यह सिस्टम मल्टीपल समवर्ती रिक्वेस्ट्स को संभालने के लिए नॉन-ब्लॉकिंग डेटाबेस ऑपरेशन्स और एसिंक्रोनस I/O ड्राइवर्स को सपोर्ट करता है। डेवलपमेंट के लिए, इसमें एक हॉट-रीलोड वर्कफ़्लो शामिल है जो सोर्स कोड परिवर्तनों का पता चलने पर सर्वर को स्वचालित रूप से रीस्टार्ट करता है।

Octane is a PHP application server accelerator and process manager that boots an application into memory to eliminate the startup overhead associated with each individual request. It functions as a runtime bridge for high-concurrency engines such as Swoole and RoadRunner, utilizing persistent worker processes to handle incoming HTTP requests. The project includes an in-memory application state manager that uses atomic tables to share data across workers and a concurrent task runner that executes multiple operations in parallel to reduce total request latency. It also manages worker lifecycles

This project is a high-performance application server integration that enables persistent memory execution for PHP applications. By keeping the framework loaded in memory across requests, it eliminates the overhead of repeated bootstrapping, significantly increasing execution speed and reducing latency. It functions as a unified service delivery platform capable of handling HTTP, WebSocket, TCP, and UDP traffic simultaneously within a single instance. The server distinguishes itself through an event-driven worker pool that manages concurrent traffic and offloads time-consuming operations to a

This project is a framework for developing and orchestrating autonomous software agents within JVM-based applications. It provides a toolkit for embedding artificial intelligence directly into business logic, enabling agents to perform complex tasks through dynamic, goal-oriented planning rather than rigid state machines. By leveraging declarative annotations, the framework allows developers to define agent capabilities and integrate them into existing object-oriented domain models. The framework distinguishes itself through a vendor-neutral abstraction layer that allows for the seamless swap

Varnish Cache वेब सर्वर के सामने बैठने के लिए डिज़ाइन किया गया एक HTTP रिवर्स प्रॉक्सी और कंटेंट एक्सेलेरेटर है। यह एक कैशिंग इंजन के रूप में कार्य करता है जो बैकएंड ओरिजिन सर्वर पर प्रोसेसिंग लोड को कम करने और अंतिम उपयोगकर्ताओं के लिए डिलीवरी समय में तेज़ी लाने के लिए मेमोरी में अक्सर एक्सेस की जाने वाली वेब सामग्री को संग्रहीत करता है। यह सॉफ़्टवेयर एक डोमेन-विशिष्ट कॉन्फ़िगरेशन भाषा के माध्यम से खुद को अलग बनाता है जो अनुरोध-हैंडलिंग लॉजिक को वायर स्पीड पर निष्पादन के लिए मशीन-स्तरीय बाइटकोड में संकलित करती है। यह समवर्ती कनेक्शन को प्रबंधित करने के लिए एक मल्टी-थ्रेडेड इवेंट लूप का उपयोग करता है और त्वरित डेटा पुनर्प्राप्ति और डिस्क एक्सेस की सुविधा के लिए वर्चुअल मेमोरी पेजिंग के साथ साझा-मेमोरी ऑब्जेक्ट स्टोरेज को नियोजित करता है। अपनी मुख्य कैशिंग क्षमताओं से परे, सिस्टम व्यापक ट्रैफ़िक प्रबंधन प्रदान करता है, जिसमें अनुरोध-प्रतिक्रिया पाइपलाइन प्रोसेसिंग और बैकएंड हेल्थ प्रोबिंग शामिल है। ये सुविधाएँ उच्च उपलब्धता सुनिश्चित करने के लिए कई सर्वरों में आने वाले नेटवर्क अनुरोधों के वितरण और ओवरलोडेड इंफ्रास्ट्रक्चर से ट्रैफ़िक की डायनामिक रूटिंग की अनुमति देती हैं।