Awesome GitHub RepositoriesBig Data and Distributed Computing

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

Dask एक पैरेलल कंप्यूटिंग फ्रेमवर्क और डिस्ट्रीब्यूटेड टास्क शेड्यूलर है जिसे Python डेटा साइंस वर्कफ़्लो को सिंगल मशीनों से बड़े क्लस्टर्स तक स्केल करने के लिए डिज़ाइन किया गया है। यह एक क्लस्टर रिसोर्स मैनेजर के रूप में कार्य करता है जो कार्यों और उनकी डिपेंडेंसी को डायरेक्टेड एसाइक्लिक ग्राफ (DAGs) के रूप में प्रस्तुत करके कम्प्यूटेशनल लॉजिक को व्यवस्थित करता है। यह आर्किटेक्चर सिस्टम को जटिल निष्पादन आवश्यकताओं का प्रबंधन करते हुए उपलब्ध हार्डवेयर पर वर्कलोड के वितरण को स्वचालित करने की अनुमति देता है। यह प्रोजेक्ट एक लेज़ी इवैल्यूएशन इंजन के माध्यम से खुद को अलग करता है जो डेटा ऑपरेशन्स को तब तक स्थगित कर देता है जब तक कि उन्हें स्पष्ट रूप से अनुरोध न किया जाए, जिससे ग्लोबल ग्राफ ऑप्टिमाइज़ेशन और कुशल संसाधन आवंटन सक्षम होता है। इसमें उपलब्ध मेमोरी से अधिक डेटासेट को प्रोसेस करते समय सिस्टम क्रैश को रोकने के लिए मेमोरी-अवेयर डेटा स्पिलिंग शामिल है, और यह टास्क ग्राफ फ्यूजन का उपयोग ऑपरेशन्स के अनुक्रमों को एकल निष्पादन चरणों में संयोजित करने के लिए करता है, जिससे शेड्यूलिंग ओवरहेड और इंटर-नोड संचार कम हो जाता है। यह प्लेटफॉर्म बड़े पैमाने पर डेटा एनालिटिक्स के लिए एक व्यापक क्षमता सतह प्रदान करता है, जिसमें डिस्ट्रीब्यूटेड मशीन लर्निंग, उच्च-प्रदर्शन कंप्यूटिंग एकीकरण, और पैरेलल डेटा प्रोसेसिंग के लिए समर्थन शामिल है। यह क्लस्टर लाइफसाइकिल मैनेजमेंट, परफॉरमेंस प्रोफाइलिंग, और टास्क निष्पादन की रीयल-टाइम मॉनिटरिंग के लिए व्यापक उपकरण प्रदान करता है। उपयोगकर्ता इन वातावरणों को स्थानीय हार्डवेयर, क्लाउड प्रदाताओं, कंटेनरीकृत सिस्टम, और उच्च-प्रदर्शन कंप्यूटिंग क्लस्टर्स सहित विविध बुनियादी ढांचे पर तैनात कर सकते हैं।

CuPy एक CUDA ऐरे कंप्यूटिंग लाइब्रेरी है जो NVIDIA GPUs पर ऐरे ऑपरेशन्स और संख्यात्मक कंप्यूटिंग को निष्पादित करने के लिए NumPy-संगत इंटरफेस लागू करती है। यह एक GPU-त्वरित संख्यात्मक लाइब्रेरी और CUDA-आधारित SciPy इम्प्लीमेंटेशन के रूप में कार्य करती है, जो वैज्ञानिक और इंजीनियरिंग वर्कलोड के लिए प्रोसेसिंग गति बढ़ाने के लिए ग्राफिक्स हार्डवेयर पर भारी गणनाओं को ऑफलोड करती है। यह लाइब्रेरी मल्टी-फ्रेमवर्क टेंसर एक्सचेंज को सक्षम बनाती है, जिससे मेमोरी कॉपी से बचने के लिए मानकीकृत मेमोरी लेआउट का उपयोग करके विभिन्न डीप लर्निंग फ्रेमवर्क के बीच डेटा बफ़र्स साझा किए जा सकते हैं। यह कस्टम GPU कर्नल एकीकरण का भी समर्थन करती है, जिससे हार्डवेयर निष्पादन पर सटीक नियंत्रण के लिए ऐरे डेटा को लो-लेवल APIs से जोड़ा जा सकता है। व्यापक रूप से, यह प्रोजेक्ट उच्च-प्रदर्शन ऐरे प्रोसेसिंग और वैज्ञानिक कंप्यूटिंग वर्कफ़्लो को कवर करता है। इसकी क्षमताओं में ऐरे कंप्यूटेशन में तेजी लाना और बड़े पैमाने पर संख्यात्मक गणनाओं के लिए उपकरण प्रदान करना शामिल है।

cuDF is a GPU-accelerated dataframe library and data processing engine designed for manipulating and analyzing large tabular datasets. It provides a high-level API for executing filtering, joining, and aggregating operations directly on GPU hardware. The project integrates the Apache Arrow memory format to enable zero-copy data transfers and includes a just-in-time compiler for executing custom user-defined functions on the GPU. The library features specialized acceleration for existing workflows by redirecting standard Pandas dataframe calls and Polars query plans to a GPU backend. It also p

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

An implementation of chunked, compressed, N-dimensional arrays for Python.

Petastorm library enables single machine or distributed training and evaluation of deep learning models from datasets in Apache Parquet format. It supports ML frameworks such as Tensorflow, Pytorch, and PySpark and can be used from pure Python code.

Library for reading and writing large multi-dimensional arrays.

Fast NumPy array functions written in C