Awesome GitHub RepositoriesPython Data Pipeline Frameworks

This project is a Python workflow orchestration platform and programmatic data pipeline engine used to author, schedule, and monitor complex data pipelines. It functions as a directed acyclic graph manager and scheduler, allowing users to define data movement and transformation tasks as code to ensure precise execution order and maintainability. The platform distinguishes itself by treating workflows as code, enabling pipelines to be versioned and tested through a standard programming language. It utilizes a system of extensible operators to encapsulate integration logic and employs a templat

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Grist is a relational spreadsheet platform that combines the flexibility of a spreadsheet with the power of a relational database. At its core, it manages structured data across multiple linked tables, using a relational database engine to organize information while providing a familiar grid interface. The platform supports Python-based formulas for complex calculations and data transformations, with automatic recalculation when referenced cells change. The system is designed for self-hosted deployment, storing data in either portable SQLite files or enterprise-grade PostgreSQL databases. It

Kedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje

Mage AI is a Python-based data pipeline orchestrator and self-hosted data integrated development environment. It is designed for building, scheduling, and monitoring data workflows using a block-based pipeline design and interactive notebook interface. The platform distinguishes itself by integrating generative AI capabilities, allowing users to connect large language model providers via API to incorporate artificial intelligence into automated data streams. It also functions as an Apache Spark data processor, managing the kernels and infrastructure required for high-volume analytics and larg

Tensorpack هو إطار عمل شبكة عصبية TensorFlow عالي المستوى ومكتبة بحثية مصممة لبناء وتدريب نماذج التعلم العميق. يوفر مجموعة من بنيات الشبكات العصبية القابلة للتكرار للرؤية الحاسوبية، والمهام التوليدية، والتعلم التعزيزي، ومعالجة اللغات الطبيعية. يتميز المشروع بخط معالجة بيانات تعلم عميق متخصص يستخدم Python الخالص لتحميل البيانات المتوازي والبث. ويتضمن منسق تدريب متعدد وحدات GPU لتوزيع أعباء العمل عبر استراتيجيات موازية للبيانات ومجموعة أدوات قابلية تفسير مخصصة لتصور خرائط بروز وتنشيط النموذج. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك خطوط معالجة الرؤية الحاسوبية لاكتشاف الكائنات والتجزئة الدلالية، ونمذجة التسلسل للكلام والنص، وتطوير وكيل التعلم التعزيزي. كما يوفر أدوات تحسين النموذج لتكميم الأوزان والتدريب منخفض البت، إلى جانب مرافق لإعادة إنتاج الأوراق البحثية الأكاديمية وتحويل أوزان نموذج Caffe القديمة.

Toolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering

هذا المشروع هو مكتبة تكامل AWS pandas وإطار عمل لخط أنابيب البيانات مصمم لتبسيط حركة وتحويل البيانات بين الذاكرة المحلية وخدمات التخزين والتحليلات في AWS. يعمل كأداة لمستودع بيانات السحابة (data lake) ومدير ملفات التخزين، مما يسمح للمستخدمين بقراءة وكتابة وتحويل البيانات المنظمة عبر بيئات سحابية مختلفة. تتميز المكتبة كمنسق حوسبة موزع قادر على إدارة المجموعات في بيئات مثل EMR لمعالجة مجموعات البيانات التي تتجاوز حدود الذاكرة لجهاز واحد. كما توفر قدرات متخصصة لإدارة فهارس المتجهات وإجراء عمليات بحث التشابه داخل حاويات التخزين السحابية. تغطي مساحة قدراتها الأوسع ETL لقاعدة بيانات السحابة لخدمات مثل DynamoDB وRDS وTimestream، بالإضافة إلى إدارة كتالوج بيانات السحابة عبر AWS Glue. وتدعم تحليلات البيانات بدون خادم من خلال Athena وRedshift، وتوفر أدوات لإدارة كائنات S3، وفهرسة المستندات في OpenSearch، وتحليل سجلات CloudWatch.

This project is a collection of interactive Jupyter notebooks designed to teach machine learning and deep learning fundamentals through hands-on coding exercises. It provides a structured curriculum that guides users through the end-to-end data science lifecycle, covering everything from initial data preprocessing to final model evaluation. The repository distinguishes itself by bridging theoretical data science concepts with practical implementation using standard industry libraries. It features a series of tutorials that demonstrate how to build and train predictive models and complex neura