Awesome GitHub RepositoriesPython Data Pipeline Frameworks

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Grist is a relational spreadsheet platform that combines the flexibility of a spreadsheet with the power of a relational database. At its core, it manages structured data across multiple linked tables, using a relational database engine to organize information while providing a familiar grid interface. The platform supports Python-based formulas for complex calculations and data transformations, with automatic recalculation when referenced cells change. The system is designed for self-hosted deployment, storing data in either portable SQLite files or enterprise-grade PostgreSQL databases. It

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Mage AI एक Python-आधारित डेटा पाइपलाइन ऑर्केस्ट्रेटर और सेल्फ-होस्टेड डेटा इंटीग्रेटेड डेवलपमेंट एनवायरनमेंट (IDE) है। इसे ब्लॉक-आधारित पाइपलाइन डिज़ाइन और इंटरैक्टिव नोटबुक इंटरफ़ेस का उपयोग करके डेटा वर्कफ़्लो बनाने, शेड्यूल करने और मॉनिटर करने के लिए डिज़ाइन किया गया है। यह प्लेटफ़ॉर्म जेनेरेटिव AI क्षमताओं को एकीकृत करके खुद को अलग बनाता है, जिससे उपयोगकर्ताओं को स्वचालित डेटा स्ट्रीम में आर्टिफिशियल इंटेलिजेंस को शामिल करने के लिए API के माध्यम से लार्ज लैंग्वेज मॉडल प्रोवाइडर्स से जुड़ने की अनुमति मिलती है। यह एक Apache Spark डेटा प्रोसेसर के रूप में भी कार्य करता है, जो उच्च-वॉल्यूम एनालिटिक्स और बड़े पैमाने पर डेटा प्रोसेसिंग के लिए आवश्यक कर्नल्स और इंफ्रास्ट्रक्चर को प्रबंधित करता है। यह सिस्टम ETL वर्कफ़्लो ऑटोमेशन, dbt मॉडल मैनेजमेंट, और डेटा स्ट्रीम डिस्कवरी सहित डेटा इंजीनियरिंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह Git के माध्यम से वर्ज़न कंट्रोल इंटीग्रेशन, कंटेनराइज़्ड डिप्लॉयमेंट, और डेवलपमेंट व प्रोडक्शन वातावरण में पाइपलाइन्स को प्रबंधित करने के लिए रोल-आधारित एक्सेस कंट्रोल के लिए टूल्स प्रदान करता है। मॉनिटरिंग को सिस्टम परफॉर्मेंस टेलीमेट्री और पाइपलाइन निष्पादन डिबगिंग के माध्यम से संभाला जाता है।

Tensorpack एक उच्च-स्तरीय TensorFlow न्यूरल नेटवर्क फ्रेमवर्क और रिसर्च लाइब्रेरी है जिसे डीप लर्निंग मॉडल्स बनाने और प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह कंप्यूटर विज़न, जनरेटिव टास्क, रीइन्फोर्समेंट लर्निंग और नेचुरल लैंग्वेज प्रोसेसिंग के लिए पुनरुत्पादक (reproducible) न्यूरल नेटवर्क आर्किटेक्चर का संग्रह प्रदान करता है। प्रोजेक्ट एक विशेष डीप लर्निंग डेटा पाइपलाइन के माध्यम से खुद को अलग करता है जो समानांतर डेटा लोडिंग और स्ट्रीमिंग के लिए शुद्ध Python का उपयोग करती है। इसमें डेटा-समानांतर रणनीतियों के माध्यम से वर्कलोड वितरित करने के लिए एक मल्टी-GPU ट्रेनिंग ऑर्केस्ट्रेटर और मॉडल सेलियंसी और एक्टिवेशन मैप्स को विज़ुअलाइज़ करने के लिए एक समर्पित इंटरप्रिटेबिलिटी टूलकिट शामिल है। फ्रेमवर्क क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें ऑब्जेक्ट डिटेक्शन और सिमेंटिक सेगमेंटेशन के लिए कंप्यूटर विज़न पाइपलाइन्स, स्पीच और टेक्स्ट के लिए अनुक्रम मॉडलिंग, और रीइन्फोर्समेंट लर्निंग एजेंट विकास शामिल है। यह वेट क्वांटाइज़ेशन और लो बिटविड्थ ट्रेनिंग के लिए मॉडल ऑप्टिमाइज़ेशन उपकरण भी प्रदान करता है, साथ ही शैक्षणिक शोध पत्रों को पुनरुत्पादित करने और लीगेसी Caffe मॉडल वेट्स को परिवर्तित करने के लिए यूटिलिटीज भी प्रदान करता है।

Toolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering

यह प्रोजेक्ट एक AWS pandas एकीकरण लाइब्रेरी और डेटा पाइपलाइन फ्रेमवर्क है जिसे स्थानीय मेमोरी और AWS स्टोरेज और एनालिटिक्स सेवाओं के बीच डेटा की आवाजाही और रूपांतरण को सरल बनाने के लिए डिज़ाइन किया गया है। यह एक क्लाउड डेटा लेक टूलकिट और स्टोरेज फाइल मैनेजर के रूप में कार्य करता है, जो उपयोगकर्ताओं को विभिन्न क्लाउड वातावरणों में संरचित डेटा को पढ़ने, लिखने और बदलने की अनुमति देता है। लाइब्रेरी एक डिस्ट्रीब्यूटेड कंप्यूट ऑर्केस्ट्रेटर के रूप में खुद को अलग करती है जो EMR जैसे वातावरण में क्लस्टर्स को प्रबंधित करने में सक्षम है ताकि उन डेटासेट्स को प्रोसेस किया जा सके जो एक मशीन की मेमोरी सीमा से अधिक हैं। यह वेक्टर इंडेक्स को प्रबंधित करने और क्लाउड स्टोरेज बकेट्स के भीतर समानता खोज (similarity searches) करने के लिए विशेष क्षमताएं भी प्रदान करती है। इसकी व्यापक क्षमता सतह DynamoDB, RDS और Timestream जैसी सेवाओं के लिए क्लाउड डेटाबेस ETL, और AWS Glue के माध्यम से क्लाउड डेटा कैटलॉग प्रबंधन को कवर करती है। यह Athena और Redshift के माध्यम से सर्वरलेस डेटा एनालिटिक्स का समर्थन करती है, और S3 ऑब्जेक्ट्स को प्रबंधित करने, OpenSearch में दस्तावेजों को इंडेक्स करने और CloudWatch लॉग्स का विश्लेषण करने के लिए यूटिलिटीज प्रदान करती है।

This project is a collection of interactive Jupyter notebooks designed to teach machine learning and deep learning fundamentals through hands-on coding exercises. It provides a structured curriculum that guides users through the end-to-end data science lifecycle, covering everything from initial data preprocessing to final model evaluation. The repository distinguishes itself by bridging theoretical data science concepts with practical implementation using standard industry libraries. It features a series of tutorials that demonstrate how to build and train predictive models and complex neura