Awesome GitHub RepositoriesSoftware-Defined Architectures

Ceph is a unified, software-defined storage platform designed to provide object, block, and file storage services from a single distributed cluster. By decoupling data management from physical hardware, it enables elastic scaling across commodity hardware, allowing organizations to build large-scale storage infrastructure without reliance on proprietary vendor equipment. The system distinguishes itself through a shared-nothing, distributed architecture that utilizes deterministic hashing for data placement. This approach eliminates centralized metadata bottlenecks, allowing the cluster to sca

Dask एक पैरेलल कंप्यूटिंग फ्रेमवर्क और डिस्ट्रीब्यूटेड टास्क शेड्यूलर है जिसे Python डेटा साइंस वर्कफ़्लो को सिंगल मशीनों से बड़े क्लस्टर्स तक स्केल करने के लिए डिज़ाइन किया गया है। यह एक क्लस्टर रिसोर्स मैनेजर के रूप में कार्य करता है जो कार्यों और उनकी डिपेंडेंसी को डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) के रूप में प्रस्तुत करके कम्प्यूटेशनल लॉजिक को व्यवस्थित करता है। यह आर्किटेक्चर सिस्टम को जटिल निष्पादन आवश्यकताओं का प्रबंधन करते हुए उपलब्ध हार्डवेयर पर वर्कलोड के वितरण को स्वचालित करने की अनुमति देता है। यह प्रोजेक्ट एक लेज़ी इवैल्यूएशन इंजन के माध्यम से खुद को अलग करता है जो डेटा ऑपरेशन्स को तब तक स्थगित कर देता है जब तक कि उन्हें स्पष्ट रूप से अनुरोध न किया जाए, जिससे ग्लोबल ग्राफ ऑप्टिमाइज़ेशन और कुशल संसाधन आवंटन सक्षम होता है। इसमें उपलब्ध मेमोरी से अधिक डेटासेट को प्रोसेस करते समय सिस्टम क्रैश को रोकने के लिए मेमोरी-अवेयर डेटा स्पिलिंग शामिल है, और यह टास्क ग्राफ फ्यूजन का उपयोग ऑपरेशन्स के अनुक्रमों को एकल निष्पादन चरणों में संयोजित करने के लिए करता है, जिससे शेड्यूलिंग ओवरहेड और इंटर-नोड संचार कम हो जाता है। यह प्लेटफॉर्म बड़े पैमाने पर डेटा एनालिटिक्स के लिए एक व्यापक क्षमता सतह प्रदान करता है, जिसमें डिस्ट्रीब्यूटेड मशीन लर्निंग, उच्च-प्रदर्शन कंप्यूटिंग एकीकरण, और पैरेलल डेटा प्रोसेसिंग के लिए समर्थन शामिल है। यह क्लस्टर लाइफसाइकिल मैनेजमेंट, परफॉरमेंस प्रोफाइलिंग, और टास्क निष्पादन की रीयल-टाइम मॉनिटरिंग के लिए व्यापक उपकरण प्रदान करता है। उपयोगकर्ता इन वातावरणों को स्थानीय हार्डवेयर, क्लाउड प्रदाताओं, कंटेनरीकृत सिस्टम, और उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर्स सहित विविध बुनियादी ढांचे पर तैनात कर सकते हैं।

dbt-core is a command-line framework for transforming data within a warehouse using modular SQL and version control. It functions as a data transformation engine that enables users to define data structures and business logic through declarative configuration files, which the system then compiles into executable code. By managing complex data dependencies through a directed acyclic graph, it ensures that transformation tasks execute in the correct order while maintaining a manifest-driven state to track lineage and execution history. The project distinguishes itself through an adapter-based d

This project is a collection of software engineering principles and architectural design patterns designed to minimize the mental effort required to understand and maintain source code. It serves as a guide for implementing clean code methodologies and architectural simplification to reduce the overall cognitive load on developers. The framework emphasizes aligning module boundaries and ubiquitous language with business stakeholders to prevent architectural ripple effects. It advocates for balancing service granularity to avoid the overhead of distributed monoliths and suggests favoring objec

Harvester एक हाइपरकन्वर्ज्ड इंफ्रास्ट्रक्चर सॉफ्टवेयर प्लेटफॉर्म है जो बेयर मेटल सर्वर पर वर्चुअलाइज्ड एनवायरनमेंट को मैनेज करने के लिए कंप्यूट, स्टोरेज और नेटवर्किंग को एक ही सिस्टम में जोड़ता है। यह एक वर्चुअलाइजेशन मैनेजमेंट प्लेटफॉर्म और KVM हाइपरवाइजर मैनेजर के रूप में कार्य करता है, जो वर्चुअल मशीनों के पूरे लाइफसाइकिल को ऑर्केस्ट्रेट करने के लिए एक सेंट्रलाइज्ड इंटरफेस प्रदान करता है। यह प्रोजेक्ट Longhorn डिस्ट्रीब्यूटेड ब्लॉक स्टोरेज को एकीकृत करके खुद को अलग बनाता है, जो रिडंडेंट, सॉफ्टवेयर-डिफाइंड स्टोरेज और ऑटोमेटेड डिप्लॉयमेंट के लिए बेयर मेटल प्रोविजनिंग टूल प्रदान करता है। यह PXE, iPXE और UEFI HTTP बूटिंग का उपयोग करके फिजिकल सर्वर पर इंफ्रास्ट्रक्चर को ऑर्केस्ट्रेट करने की अनुमति देता है। प्लेटफॉर्म की क्षमताओं में लाइव माइग्रेशन और क्लाउड-इनिट प्रोविजनिंग के साथ वर्चुअल मशीन ऑर्केस्ट्रेशन, और स्नैपशॉट व रिमोट बैकअप के माध्यम से एंटरप्राइज डिजास्टर रिकवरी शामिल है।